maximellerbach/omx_autocollect

该数据集是一个机器人控制任务数据集，包含机器人动作和观察状态的数据。具体包括6个关节位置（shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos）、手腕和顶部摄像头拍摄的视频（480x640分辨率，30fps）、时间戳、帧索引、情节索引等。数据集总共有50个情节，14278帧，数据文件大小为100MB，视频文件大小为200MB。数据集使用Apache 2.0许可证。

This dataset is a robotics control task dataset containing data on robot actions and observation states. It specifically includes 6 joint positions (shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos), videos captured by wrist and top cameras (480x640 resolution, 30fps), timestamps, frame indices, episode indices, etc. The dataset contains a total of 50 episodes, 14278 frames, with data files sized at 100MB and video files at 200MB. The dataset is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

omx_autocollect数据集基于LeRobot框架构建，专注于机器人操控任务的自动化数据采集。该数据集通过记录机械臂在真实环境中的自主操作轨迹，收集了50个完整片段（episode），总计14278帧数据，涵盖单一的预设任务。数据采集过程中，系统同步录制了腕部与顶部两个视角的彩色视频流（分辨率为480×640，帧率30fps），并以高压缩比的AV1编码格式存储，同时记录了机器人六个自由度的关节状态与动作指令，所有传感器数据均以30Hz的频率同步采样，最终以Parquet格式高效存储，并配有对应的MP4视频文件，构成了一个结构化的多模态机器人操作数据集。

特点

本数据集最显著的特点在于其针对“自动采集”场景的专门设计，提供了完整的机器人操作状态-动作对（state-action pairs），包含机械臂的肩部俯仰、肘部弯曲、腕部旋转及夹爪开合等6维控制信号，与对应的观测状态完全对齐。视频数据提供了自上而下与腕部近端两个独特视角，为视觉-运动策略学习提供了丰富的场景与第一人称信息。数据集还包含了精确的时间戳、帧索引与任务标识，便于序列建模。其总数据量约300MB（含视频文件），划分为单一训练集，适合用于模仿学习、行为克隆以及机器人远程操作任务的基准测试。

使用方法

该数据集可通过LeRobot库直接加载与使用。用户首先需安装LeRobot（pip install lerobot），随后利用其内置的数据集加载器，通过指定数据集名称‘maximellerbach/omx_autocollect’即可自动下载并解析数据。加载后将获得一个迭代器，可依次访问每个episode的连续帧，其中每帧包含‘action’、‘observation.state’、‘observation.images.wrist’、‘observation.images.top’等键。用户可根据需求构建训练数据加载器，将状态与图像作为输入，对应动作为监督信号，进行策略网络的训练与评估。数据集已预设默认的训练/测试划分，可直接调用验证。

背景与挑战

背景概述

omx_autocollect数据集由Hugging Face团队基于LeRobot框架创建，旨在为机器人模仿学习提供高质量的多模态训练数据。该数据集记录了OMX机械臂在30帧每秒下执行的单一任务，包含50个完整轨迹、约14278帧时间序列数据，并融合了6维关节动作状态、腕部与顶部双视角视觉图像等丰富信息。作为开源机器人数据集，它填补了低成本、标准化机械臂操作学习资源的空白，推动了具身智能领域中从固定编码向数据驱动范式的转变，对简化机器人技能获取流程、促进研究复现与比较具有重要价值。

当前挑战

该数据集需要应对具身智能领域的一个核心难题：如何高效构建可泛化的机器人操作策略，同时降低高昂的物理硬件和数据采集成本。具体挑战包括：1)所解决的领域问题是传统机器人编程依赖繁琐的硬编码逻辑，难以适应动态环境与复杂任务，而模仿学习需海量且高质量的状态-动作对数据来提升策略的鲁棒性；2)构建过程中，研究团队面临精准同步高分辨率视觉观测与低延迟关节控制信号的困难，以及如何设计统一的采集流程与数据格式（如Parquet和AV1编码）以平衡存储效率与信息保真度，并确保50个片段的一致性和可复现性。

常用场景

经典使用场景

在机器人学习与模仿学习领域，omx_autocollect数据集为训练机械臂执行精确操作任务提供了宝贵资源。该数据集包含50个完整片段、超过1.4万帧的高频数据，以30帧每秒的速率同步记录了六自由度机械臂的关节状态与双视角视觉信息。研究者通常利用其结构化动作序列和观测状态，构建从视觉输入到运动控制的端到端映射模型，尤其适用于基于行为克隆或逆强化学习的策略学习范式。

衍生相关工作

该数据集衍生出一系列基于LeRobot框架的经典研究工作，包括利用扩散策略对动作分布进行建模、通过transformer架构处理长时序依赖的操控任务，以及结合对比学习增强多视角特征的语义对齐。此外，部分工作聚焦于迁移学习，将从该数据集中习得的控制策略适应至不同构型的机械臂平台，显著提升了预训练模型的跨域泛化能力。

数据集最近研究

最新研究方向

在机器人学习领域，数据集正从静态图像向多模态交互数据演进，omx_autocollect代表了'以数据驱动灵巧操作'的前沿方向。该数据集利用LeRobot框架采集，包含6自由度机械臂的关节角度与末端夹爪状态，整合了腕部及顶部的高清视觉流，以30fps的帧率记录了50个任务的完整轨迹。这种蕴含精密动作与视觉上下文的双通道数据，为模仿学习、离线强化学习等范式提供了珍贵素材，尤其契合当前'具身智能'浪潮中对低成本、可复现机器人训练数据集的迫切需求。其Apache-2.0开源许可进一步推动了学术界与工业界在灵巧操控、人机协作等热点研究上的协作与创新。