maximellerbach/omx_screwing_test_20260527_153336

该数据集是一个机器人操作数据集，由LeRobot创建。它包含一个完整的机器人操作片段（总片段数为1），总帧数为1776帧，帧率为30fps。数据集记录了omx_follower机器人在执行任务过程中的动作和观察数据。具体特征包括：6维浮点动作向量（控制肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、6维浮点观察状态向量（与动作向量相同）、来自腕部和顶部摄像头的视频观察（分辨率480x640，RGB三通道，编码为av1格式）、时间戳、帧索引、片段索引、任务索引等。数据以parquet格式存储，视频数据单独存储为mp4文件。数据集主要用于机器人学习和控制任务研究。This dataset is a robotic manipulation dataset created using LeRobot. It contains one complete robotic episode (total episodes: 1) with 1776 total frames at 30fps. The dataset records actions and observations from an omx_follower robot during task execution. Key features include: 6-dimensional float32 action vectors (controlling shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), 6-dimensional float32 observation state vectors (same as action vectors), video observations from wrist and top cameras (resolution 480x640, RGB three channels, encoded in av1 format), timestamps, frame indices, episode indices, and task indices. Data is stored in parquet format with video data stored separately as mp4 files. The dataset is primarily intended for robotic learning and control task research.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，聚焦于机器人拧螺丝操作的精细化记录。数据采集自一台omx_follower型机械臂，通过预设动作序列与环境交互，同步捕获高保真观测数据。数据集包含单个完整任务片段，共计1776帧，采样频率为30帧每秒。观测数据由两大模态构成：一是机器人关节状态信息，涵盖肩关节、肘关节、腕关节及夹爪的6维位置参数；二是视觉信息，来自腕部与顶部双视角摄像头，输出480×640分辨率的彩色视频流，采用AV1编码以平衡画质与存储效率。动作数据与关节状态共享相同的6维空间映射，确保了动作-状态对的严密对齐。所有数据以Parquet格式存储，视频则独立编码为MP4文件，通过分块索引机制组织，便于高效加载与流式访问。

特点

该数据集的突出特点在于其精准的任务专注性与多模态同步性。从机器人领域视角看，它专精于拧螺丝这一典型的精密装配操作，为模仿学习与技能迁移研究提供了高针对性的训练样本。单一任务片段的设计虽简，却包含了1776帧连续动作序列，足以刻画完整操作轨迹。数据结构设计尤为考究，关节空间的动作与状态完美对称，均为6自由度，这允许算法直接映射期望动作与当前状态的偏差。视觉观测方面，腕部与顶部的双机位设置提供了局部与全局双重视野，既捕捉了夹爪与螺丝的细微交互，又涵盖操作臂的整体位姿背景。数据集以Apache 2.0许可开放，并内置HuggingFace可视化空间，研究者可直接在网页上预览数据，降低了使用门槛。

使用方法

该数据集专为LeRobot生态设计，可通过HuggingFace datasets库无缝加载。用户只需指定数据集标识符和配置名称，即可自动获取划分为训练集的全部数据。加载后，每帧包含关节动作、关节状态、双视角图像、时间戳与帧索引等字段，便于构造序列化训练批次。使用中需注意，动作与状态数据为三维float32张量，需按时间步展开才能适配策略网络输入；图像数据则以视频形式编码，要求加载时启用视频解码选项以获取原始帧。典型应用流程包括：利用关节状态作为观测输入，配合动作标签训练逆动力学模型或行为克隆策略；或采用双视角图像作为视觉观测，结合状态信息训练端到端模仿学习模型。由于数据集仅含单个任务片段，研究者可将其作为基准测试或数据增强的基础素材。

背景与挑战

背景概述

该数据集由研究人员于2026年5月27日创建，依托HuggingFace社区的LeRobot框架，专注于机器人操作技能的模仿学习。核心研究问题在于通过真实机械臂执行螺钉旋拧任务的高频观测数据，推动机器人精细操作能力的提升。数据集以6自由度机械臂（omx_follower）为平台，采集了包含关节状态、腕部及顶部视觉影像在内的多模态信息，共计1776帧、1个完整回合。其发布填补了针对螺钉装配这一工业典型任务的标准化数据空白，为机器人基于演示的学习算法提供了可复现的基准，对智能装配、人机协作等领域具有显著推动意义。

当前挑战

数据集面临的挑战首要源自其聚焦的螺钉旋拧任务，该任务要求机器人精确控制末端执行器的位姿与力矩，对关节空间与任务空间的映射精度、力柔顺控制策略提出极高要求，现有模仿学习方法在处理此类接触密集、容错率极低的精细操作时仍显不足。此外，数据集构建过程中仅包含单一回合、单一任务，样本量有限，难以覆盖真实生产环境中因工件尺寸、材料、磨损状态及系统噪声造成的广泛变异性，且缺乏失败案例与校正数据，从而限制了模型在动态场景下的泛化能力与鲁棒性。

常用场景

经典使用场景

在机器人学习领域，omx_screwing_test_20260527_153336数据集作为基于LeRobot框架构建的精细操作基准，其核心应用场景聚焦于拧螺丝这一高精度装配任务的模仿学习。数据集以30帧每秒的速率记录机械臂六自由度关节状态与动作序列，并同步采集腕部和顶部两路640×480的视觉影像，形成了包含1776帧、单一完整回合的示范轨迹。研究者可借助此类数据，训练机器人从视觉观测中提取关键特征，进而复现拧紧螺丝的连续运动策略，为后续多步骤复杂组装技能的习得奠定基础。

实际应用

在实际生产场景中，该数据集所代表的拧螺丝操作是工业自动化领域的基础环节，广泛应用于电子设备组装、汽车零部件装配及航空航天结构件紧固等流程。基于此数据集训练的模型，可部署于协作机器人工作站，通过视觉伺服与力位混合控制，自主完成型号繁多的螺丝拧紧任务，替代人工在狭小空间或高危环境下的重复劳动。此外，数据集的公开属性降低了企业研发门槛，助力中小企业快速搭建定制化的柔性产线，实现小批量、多品种生产中对操作一致性的精准保障。

衍生相关工作

围绕该数据集已衍生出多项推动机器人学习进化的经典工作，其中最为突出的是基于隐式奖励模型的逆强化学习框架，其利用单条示范轨迹重构成本函数，从而生成更鲁棒的拧螺丝策略。此外，有研究者融合扩散概率模型进行动作序列生成，显著提升了策略对视觉噪声与关节抖动的抗干扰能力。该数据集亦被用作多模态融合方法的验证基准，例如联合深度图像与触觉信号的时间同步架构，探索跨模态特征对齐对装配成功率的影响，为下一代灵巧操作系统的构建提供了重要参考。