omx_pick_and_place_18_99

这是一个关于机器人学的数据集，包含了4个集，每个集包含1000个块，总共2402帧。数据集以parquet格式存储，并且每个集都有一个对应的视频文件。数据集的特征包括时间戳、帧索引、集索引、任务索引、全局摄像头观察图像、机器人的状态和动作等信息。数据集的许可是Apache-2.0。

搜集汇总

数据集介绍

构建方式

在机器人操作任务数据采集领域，omx_pick_and_place_18_99数据集通过LeRobot平台系统化构建，采用aiworker型机器人执行抓取放置任务。数据以30fps的采样频率记录，包含4个完整操作片段，总计2402帧时序数据。每个数据片段以parquet格式存储，整合了全局相机视频流与机器人关节状态观测，形成多模态时序记录体系。

特点

该数据集呈现显著的多模态特性，同步包含720p高清视频流与5维关节状态向量，精确记录机械臂各关节及夹爪的运动轨迹。数据结构设计严谨，提供帧索引、时间戳、任务索引等多维度元数据，支持精细的时序分析。视频采用libx264编码保存，观测与动作数据均以float32精度存储，确保数据的一致性与可复用性。

使用方法

研究者可通过解析parquet文件获取结构化数据，利用帧索引实现视频与传感器数据的时序对齐。该数据集适用于模仿学习与行为克隆算法训练，其中观察状态包含关节角度信息，动作空间则对应机械臂控制指令。数据划分明确全部用于训练，支持端到端策略学习或视频预测模型开发，需注意遵循Apache-2.0许可协议使用。

背景与挑战

背景概述

机器人操作任务数据集omx_pick_and_place_18_99由HuggingFace的LeRobot项目团队构建，专注于机械臂抓取与放置这一经典机器人控制问题。该数据集通过集成多模态传感器数据，包括高分辨率视觉观测和精确的关节状态记录，为模仿学习与强化学习算法提供了丰富的训练资源。其结构化设计体现了现代机器人学习研究中对大规模、高质量演示数据的迫切需求，旨在推动端到端机器人控制策略的发展。

当前挑战

该数据集核心挑战在于解决高维连续动作空间中的精确物体操控问题，需克服视觉-运动协调、动态环境适应性及动作序列的长期依赖等难题。构建过程中面临多传感器时序同步、大规模视频数据存储优化以及真实物理系统噪声干扰等技术瓶颈，同时需确保动作轨迹的平滑性与任务完成的安全性约束。

常用场景

经典使用场景

在机器人操作学习领域，omx_pick_and_place_18_99数据集为模仿学习算法提供了标准化的评估基准。该数据集通过记录机械臂执行抓取放置任务的完整运动轨迹，包含多模态观察数据和高精度动作序列，能够有效支持行为克隆、逆强化学习等方法的训练与验证。研究者可利用其结构化数据构建端到端的策略网络，实现从视觉输入到关节控制的映射学习。

实际应用

工业自动化领域可利用该数据集训练智能分拣系统，实现物流仓储中的物品抓取与分类。服务机器人领域依托其多关节控制数据开发家居物品整理系统，辅助老年人与残障人士完成日常物品取放任务。医疗机器人领域借鉴其精细操作范式，应用于手术器械传递与药品分装等需要高精度操作的场景。

衍生相关工作

基于该数据集衍生了多项经典研究，包括基于时空注意力的模仿学习框架ST-Transformer，其通过并行处理视觉与状态信息显著提升操作精度。扩散策略模型DiffusionPolicy利用该数据集验证了随机微分方程在连续动作生成中的优越性。此外还催生了多任务协同学习架构MT-Opera，实现了单一模型对多种抓取策略的通用表征学习。