omx_pick_and_place_the_box

该数据集是一个机器人学相关的数据集，包含10个视频片段，共计5133帧，每个视频片段对应一个任务。数据集使用LeRobot代码库创建，并遵循Apache-2.0许可。数据文件以Parquet格式存储，并且提供了视频文件。每个片段包含1000个数据点，数据点的特征包括时间戳、帧索引、集数索引、任务索引、全局摄像头图像、机器人的状态和动作。训练集分割为全部数据。

This is a robotics-related dataset consisting of 10 video clips with a total of 5133 frames, where each video clip corresponds to one task. The dataset was constructed using the LeRobot codebase and is released under the Apache-2.0 license. The data files are stored in Parquet format, and video files are also provided. Each clip contains 1000 data points, with features including timestamps, frame indices, episode indices, task indices, global camera images, robot states, and robot actions. The entire dataset is used as the training split.

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot, omx, robotis

数据集结构

• 总任务数: 1
• 总视频数: 10
• 总帧数: 5133
• 总片段数: 10
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: 训练集（0:10）

数据文件

• 数据格式: parquet
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• timestamp: 浮点32，形状[1]
• frame_index: 整型64，形状[1]
• episode_index: 整型64，形状[1]
• index: 整型64，形状[1]
• task_index: 整型64，形状[1]
• observation.images.cam_global: 视频格式，形状[720, 1280, 3]，包含高度、宽度、通道信息
• observation.state: 浮点32，形状[6]，包含关节1-5和夹爪关节1
• action: 浮点32，形状[6]，包含关节1-5和夹爪关节1

技术信息

• 代码库版本: v2.1
• 机器人类型: omx

引用信息

• 论文: 未提供
• BibTeX: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，omx_pick_and_place_the_box数据集通过LeRobot平台系统采集。该数据集包含10个完整操作序列，总计5133帧数据，以30fps的采样频率记录OMX机械臂执行拾放箱体任务的完整过程。数据采用分块存储结构，每个数据块包含1000帧，以parquet格式高效存储观测图像、机械臂状态与动作指令的多模态信息。

特点

本数据集的核心特征体现在其多模态数据结构的精心设计。每帧数据同步包含1280×720分辨率的三通道全局摄像头视频流、6自由度关节状态观测向量及对应的6维动作控制指令。数据维度涵盖时间戳、帧索引、任务索引等元信息，确保时序一致性。特别值得注意的是，视频数据采用libx264编码压缩，在保证视觉质量的同时显著降低存储需求。

使用方法

研究人员可通过HuggingFace平台获取该数据集，主要数据文件存储于data目录下的parquet格式文件中。使用时应首先解析meta/info.json中的数据结构描述，依据data_path字段指引加载具体数据块。训练集包含全部10个操作序列，可通过episode_index进行序列分割，结合observation.images.cam_global视频流和observation.state关节状态数据重建完整操作场景，动作数据则适用于模仿学习与强化学习算法的训练验证。

背景与挑战

背景概述

在机器人操作任务研究领域，omx_pick_and_place_the_box数据集由HuggingFace的LeRobot团队构建，专为OMX机器人平台设计。该数据集聚焦于物体抓取与放置这一核心研究问题，通过记录多模态传感器数据与机械臂动作序列，为模仿学习与强化学习算法提供训练基础。其构建体现了机器人技能泛化研究的最新进展，对推动家庭服务机器人的实际应用具有重要价值。

当前挑战

该数据集主要解决机器人操作任务中的视觉-运动协同挑战，包括高维图像观测与低维动作空间的映射问题，以及长时序动作序列的精确执行。构建过程中面临多模态数据同步采集的技术难点，需要精确对齐视觉传感器与关节编码器的时间戳；同时需保证动作轨迹的平滑性与任务成功率，这对机械臂控制精度与数据采集系统的稳定性提出了较高要求。

常用场景

经典使用场景

在机器人操作学习领域，omx_pick_and_place_the_box数据集为机械臂抓取与放置任务提供了标准化实验基准。该数据集通过记录OMX机器人执行箱体抓取操作的完整运动轨迹与视觉观测，成为强化学习和模仿学习算法验证的核心资源。研究者可利用其多模态数据流训练端到端的控制策略，评估机械臂在复杂环境中的物体操控能力。

解决学术问题

该数据集有效解决了机器人操作任务中样本效率低下与泛化能力不足的学术难题。通过提供真实机械臂的运动状态与视觉观测同步数据，支持研究者开发数据驱动的控制策略。其精确标注的关节角度与夹爪动作为动力学建模提供了可靠基础，显著降低了真实机器人实验的成本与风险，推动了机器人学习从仿真到实物的跨越。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于Transformer的多模态策略网络和元强化学习框架。研究者利用其时序连续性开发了预测性状态表征模型，显著提升了长期任务规划的准确性。后续工作进一步扩展了数据集的边界，衍生出包含多物体交互和动态环境适应的增强版本，推动了整个机器人操作学习领域的发展。