omx-test

该数据集是使用LeRobot创建的，专注于机器人技术领域，采用apache-2.0许可证。数据集包含50个episodes，总计15723帧，涉及1个任务和50个视频。数据以parquet格式存储，视频以mp4格式存储。数据集的特征包括动作（6个浮点型数据，代表不同关节的位置）、观察状态（同样6个浮点型数据）、前视图像（480x640x3的视频数据）、时间戳、帧索引、episode索引、索引和任务索引。所有数据均以30fps的帧率采集。数据集适用于机器人控制、行为学习等任务。

搜集汇总

数据集介绍

构建方式

omx-test数据集是基于LeRobot框架构建的机器人操作数据集，旨在为模仿学习研究提供标准化数据。该数据集通过远程操控OMX机械臂执行单一任务采集而来，共计50个完整回合（episode），包含15,723帧时序数据。数据以30帧/秒的采样率记录，并按照训练集（前50个回合）进行划分。每个回合以Parquet格式存储机械臂的6维状态与动作信息（肩部、肘部、腕部及夹爪位姿），同时以AV1编码的MP4视频形式保留前视摄像头的640×480 RGB图像，实现了状态-动作-视觉的多模态对齐存储。

特点

该数据集最显著的特征在于其结构化的多模态设计与机器人领域的针对性。它同时提供了6维连续控制动作（float32）与对应的关节状态观测，并附带了30fps的前视视觉流，支持纯状态驱动、视觉驱动或混合策略的训练范式。数据集的元信息中明确了机器型号（omx_follower）、帧率及动作维度，便于研究者直接评估其与特定算法的兼容性。此外，数据按回合分片存储（chunk-xxx/episode_xxxxxx.parquet），提升了大规模读写效率，且采用统一的索引系统（episode_index、frame_index）简化了时序采样逻辑。

使用方法

使用该数据集时，推荐通过LeRobot库加载，因其原生支持该数据集结构。开发者可通过指定数据集路径及配置名（default）自动读取Parquet文件中的状态动作序列与对应的视频帧。对于训练，数据集已内置train划分（0:50），可直接用于模仿学习或离线强化学习。使用时需注意动作与状态空间的6维对齐特性，并可根据需求选择是否融合视觉观测。由于数据以30fps标准化记录，时间戳字段可用于处理非均匀采样或计算时序差分。建议结合官方代码示例，通过DataLoader迭代获取每个回合的（observation, action）对进行模型训练。

背景与挑战

背景概述

omx-test数据集是由Hugging Face团队基于其开源的LeRobot框架创建的机器人数据集，发布于2024年前后，旨在推动机器人操作任务中的模仿学习研究。该数据集聚焦于单任务操作场景，包含50个演示片段、总计15723帧的机器人状态与动作数据，以及640x480分辨率的正面摄像头视频。通过规范化的动作空间（6自由度关节位置）和高帧率（30fps）采集，它为机器人学习领域提供了标准化的训练基准，尤其适用于研究从人类演示中学习精确操作技能的算法。作为LeRobot生态的一部分，omx-test在促进机器人数据集标准化和降低入门门槛方面具有重要意义。

当前挑战

该数据集面临的核心挑战包括：首先，在领域问题层面，机器人操作任务中的模仿学习需要面对高维连续动作空间（6自由度）与复杂状态感知（视觉+关节信息）的协同建模难题，且单任务设置限制了方法在多样化场景中的泛化能力。其次，在数据集构建过程中，50个片段的较小规模可能无法覆盖操作中的全部变异性（如物体位置变化、光照条件），导致模型过拟合；此外，视频与动作数据的时间同步精度、机械臂关节定位误差的累积，以及从真实机器人平台采集的高成本，均是保证数据质量与可复现性的关键挑战。

常用场景

经典使用场景

在机器人学习与操控领域，omx-test数据集凭借其精心设计的任务结构与多模态传感器数据，成为模仿学习与行为克隆研究的理想测试平台。该数据集记录了机器人执行单一任务时50个完整片段，包含15,723帧连续的动作序列与状态信息。研究者可利用其中6维关节角度（action）与对应的机器人本体状态（observation.state）进行端到端的策略学习，同时借助30帧每秒的前视摄像头画面（observation.images.front）实现视觉-运动耦合训练，从而探究机器人从示范中泛化操控技能的能力。

实际应用

在实际工业与生活场景中，omx-test数据集可用于训练协作机器人实现柔顺抓取与精细操作。例如在电子元器件装配线上，利用该数据集学习的策略可引导六自由度机械臂依据视觉反馈微调夹爪姿态，完成对小型零件的稳定拾取。此外，该数据集也为服务型机器人（如家庭辅助机械臂）的场景适应性研究提供了支撑，通过模仿学习将人类示教的操作行为转化为可复用的控制策略，从而降低编程成本并提升人机协作的自然度与安全性。

衍生相关工作

基于omx-test数据集的结构化范式，衍生出多项标志性工作。其中，LeRobot框架利用其统一的数据格式，将示范片段高效转化为训练管道，推动了机器人社区内多平台数据集的标准化建设。研究者还借鉴其动作空间与视觉流耦合的设计思路，开发出用于评估多视角视觉运动策略的任务基准，并催生了诸如扩散策略（Diffusion Policy）等生成式建模在机器人操控中的应用。这些工作不仅验证了该数据集的模块化可扩展性，更催化了从单任务模仿到多技能组合学习的范式转变。