maximellerbach/omx_screwing

该数据集是一个用于机器人技术的多模态数据集，专门针对螺丝拧紧测试任务，由LeRobot项目创建。数据集包含机器人的动作和观测数据：动作数据包括6个关节位置（肩部平移、肩部升降、肘部弯曲、手腕弯曲、手腕旋转和夹爪位置）；观测数据包括相同的关节状态，以及来自手腕和顶部摄像头的视频数据，视频分辨率为480x640像素，帧率为30fps，编码为AV1格式。数据集还包含时间戳、帧索引、episode索引等元数据。总共有13个episodes，16878帧，数据以parquet文件格式分块存储，总大小约为300MB（其中视频数据200MB，其他数据100MB）。机器人类型为omx_follower，适用于机器人控制、视觉导航和任务学习等研究。This dataset is a multimodal dataset for robotics, specifically designed for screw tightening test tasks, created by the LeRobot project. It includes robot actions and observations: action data comprises 6 joint positions (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions); observation data includes the same joint states, along with video data from wrist and top cameras, with a resolution of 480x640 pixels, a frame rate of 30fps, and encoded in AV1 format. The dataset also contains metadata such as timestamps, frame indices, episode indices, and more. There are a total of 13 episodes and 16878 frames, stored in parquet files with chunking, with a total size of approximately 300MB (200MB for video data and 100MB for other data). The robot type is omx_follower, suitable for research in robot control, visual navigation, and task learning.

搜集汇总

数据集介绍

构建方式

omx_screwing数据集基于LeRobot框架构建，专注于机器人旋拧操作的精细运动技能。该数据集通过实际机器人平台采集，由13个完整任务回合构成，共计16878帧有效数据，涵盖30帧每秒的高频采样。数据内容包含机器人六自由度关节角度动作与状态观测，具体包括肩关节、肘关节、腕关节及夹爪的位置信息。视觉观测部分则通过腕部及顶部双摄像头采集，分辨率为480×640，并以AV1编码格式高效存储。

特点

该数据集的显著特点在于其多模态异构数据融合与结构化组织。它同时包含低维关节状态向量与高维视觉图像，为模仿学习提供丰富信息。数据以Parquet与视频文件分块存储，结构清晰，并完整记录时间戳、帧索引、回合索引等元数据，便于序列建模。此外，数据集专注于单一旋拧任务，确保了数据的高针对性与一致性。

使用方法

omx_screwing数据集预配置为LeRobot格式，可通过HuggingFace平台直接加载。用户可借助LeRobot库中的数据集加载与可视化工具进行快速探索，支持对动作、状态和图像数据的并行读取。数据集已预设训练集划分，方便直接用于机器人策略学习，如行为克隆或强化学习，特别适用于操作任务的端到端模型训练与评估。

背景与挑战

背景概述

omx_screwing数据集由研究者maximellerbach利用LeRobot框架构建，专注于机器人旋拧操作任务的模仿学习。该数据集于2025年创建，收录了13个演示片段，总计16878帧、30帧每秒的高频视觉与关节状态数据，通过腕部与顶部双视角摄像头（640x480分辨率）以及六自由度关节动作记录，为机器人精准装配技能的学习提供了标准化样本。其核心研究问题在于如何使机器人从人类演示中习得精细的旋拧操作，从而推动工业自动化与柔性制造领域的发展。作为开源项目（Apache-2.0许可），该数据集为多模态机器人行为克隆与策略泛化研究奠定了数据基础，显著促进了具身智能在精密操作任务中的实际应用。

当前挑战

该数据集所应对的领域挑战在于机器人对高精度、低容错旋拧操作的模仿学习，传统示教编程难以适应复杂工件或微小位置偏差，而基于视觉与力觉的深度强化学习方法面临样本效率低、泛化性差的问题。构建过程中，需同步采集高速关节运动序列与多视角图像流，并确保数据帧对齐与时间戳一致性；此外，13个片段的小规模样本量虽有利于快速实验，但限制了模型在多种螺丝规格、初始位置偏移及光照变化下的鲁棒性。数据标注完全依赖遥操作演示，缺乏对失败案例的覆盖，也增加了策略对异常工况的适应难度。

常用场景

经典使用场景

在机器人精细操作领域，拧螺丝是一项极具代表性的高精度装配任务，要求机械臂兼具力觉感知与视觉引导能力。omx_screwing数据集通过采集OMX跟随机械臂在执行螺丝拧紧操作时的完整运动轨迹与多视角视觉信息，为模仿学习与示教学习提供了丰富的训练素材。该数据集包含13个演示片段、近1.7万帧数据，记录关节角度序列与手腕、顶部双视角高清视频，特别适合用于训练基于视觉的运动策略模型，例如行为克隆或扩散策略，使机器人能够从人类示教中习得拧螺丝这一复杂技能。

实际应用

在工业自动化与智能制造的实际场景中，拧螺丝操作是生产线上最为常见且劳动密集的工位之一。基于omx_screwing数据集训练的机器人模型可以直接服务于电子设备组装、汽车零部件装配及低空经济中的无人机机体制造等领域。它使得机器人无需复杂的人工编程，仅通过观看几次人类演示就能学会精准的螺丝拧紧动作，大幅缩短部署周期。此外，该数据集支持的视觉引导策略能使机器人在面对螺丝方位微变、光照条件波动时仍保持稳定操作，从而提升生产线的柔性与智能化水平。

衍生相关工作

作为开源精操作数据集，omx_screwing有望催生一系列衍生研究。基于其多视角视频与关节状态数据，研究者可改进现有模仿学习算法以应对高精度任务中的细粒度控制难题。例如，发展基于扩散模型的机器人操作策略，实现从演示噪声中提取稳健动作。该数据集结构也与视觉-语言-动作多模态模型的发展方向相契合，可被用于构建可泛化至不同螺丝型号与拧紧力矩需求的新型操作基元。此外，其在LeRobot生态中的标准化形式为跨数据集迁移学习、示教数据增强与域适应研究提供了理想平台。