o-ring_remove

该数据集是一个面向机器人操作任务的模仿学习数据集，由LeRobot框架创建。数据集记录了使用双机器人臂（bi_widowxai_follower_robot）执行“移除O形环”（o-ring remove）任务的完整流程。数据包含37个episodes，共32183帧，帧率为30fps。每个样本包含：14维的动作指令（左右各7个关节位置）；42维的观察状态（左右关节的位置、速度、力）；以及来自多个视角的RGB和深度图像（cam_high、cam_low、cam_right_wrist，分辨率480x640，深度图使用HEVC无损编码）。此外还包括时间戳、帧索引、episode索引等元数据。数据集划分为训练集（0:37），适用于机器人模仿学习、行为克隆、强化学习等任务。许可证为Apache-2.0。This dataset is an imitation learning dataset for robotic manipulation tasks, created using the LeRobot framework. It records the complete process of performing the o-ring remove task using a dual robot arm (bi_widowxai_follower_robot). The data consists of 37 episodes, totaling 32,183 frames at a frame rate of 30 fps. Each sample contains: 14-dimensional action commands (7 joint positions for each arm); 42-dimensional observation states (joint positions, velocities, and forces for both arms); and RGB and depth images from multiple viewpoints (cam_high, cam_low, cam_right_wrist, resolution 480x640, depth images encoded with HEVC lossless). Additionally, metadata such as timestamps, frame indices, and episode indices are included. The dataset is split into a training set (0:37) and is suitable for tasks such as robot imitation learning, behavior cloning, and reinforcement learning. The license is Apache-2.0.

原始信息汇总

数据集概述：o-ring_remove

该数据集是一个用于机器人操作任务的机器人学习数据集，基于 LeRobot 框架创建，主要应用于 robotics（机器人学）领域。

基本信息

• 任务类型：机器人学（Robotics）
• 许可证：Apache-2.0
• 数据集版本：v3.0（基于LeRobot codebase）
• 机器人类型：bi_widowxai_follower_robot（双臂WidowX AI跟随机器人）
• 数据格式：包含Parquet数据文件和MP4视频文件

数据规模

项目	数值
总回合数（Episodes）	82
总帧数	71,569
任务数	1
数据文件大小	约100 MB (Parquet)
视频文件大小	约200 MB
帧率（FPS）	30

数据划分

• 训练集（Train）：包含全部82个回合（索引0至82），采用 LeRobot 标准格式存储。

数据特征（Features）

数据集包含以下类型的特征：

1. 动作（Action）：14维向量，包含双臂7个关节（左臂/右臂各7个）的位置指令。
2. 状态观测（Observation.State）：42维向量，包含双臂各关节的位置、速度、力矩信息，每个关节3种属性（.pos, .vel, .eff），双臂共42个字段。
3. 图像观测（Observation.Images）：包含6个摄像机视角：
   • cam_high：高位RGB相机（480x640x3）
   • cam_high_depth：高位深度相机（480x640x1，毫米为单位，无损编码）
   • cam_low：低位RGB相机（480x640x3）
   • cam_low_depth：低位深度相机（480x640x1，毫米为单位，无损编码）
   • cam_right_wrist：右腕部RGB相机（480x640x3）
   • cam_right_wrist_depth：右腕部深度相机（480x640x1，毫米为单位，无损编码）
4. 元数据：时间戳（timestamp）、帧索引（frame_index）、回合索引（episode_index）、总索引（index）和任务索引（task_index）。

数据存储结构

• Parquet文件路径：按照分块存储，格式为 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet，每块包含1000帧。
• 视频文件存储路径：格式为 videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4。
• 图像数据使用视频编码存储：RGB图像采用 AV1 编码（yuv420p格式），深度图采用 HEVC 编码（gray12le格式，无损压缩）。

数据可视化与引用

• 可通过Hugging Face Space页面进行数据集可视化浏览（提供专门的可视化工具入口）。
• 数据集目前未提供论文引用信息和BibTeX引用格式（待补充）。

任务说明

该数据集针对 "o-ring_remove"（O型环移除） 这一特定机器人操作任务进行采集，全部82个回合均针对该任务进行演示数据收集。

搜集汇总

数据集介绍

构建方式

o-ring_remove数据集源自LeRobot项目，专为机器人操作研究而构建，聚焦于O型环去除这一精细任务。数据采集采用双机械臂系统（bi_widowxai_follower_robot），以30帧/秒的频率同步记录高分辨率RGB图像、深度图像以及机器人关节状态信息。数据集包含82个完整演示回合，总计71,569帧，每个回合均按时间序列存储，涵盖动作指令（14维）、观测状态（42维）及多个视角的视觉输入，并附带时间戳、帧索引和回合索引等元数据，确保数据的时序一致性与可追溯性。

特点

该数据集在机器人学习领域具有显著特色，其多模态特征设计尤为突出，集成了来自不同视角的彩色图像与深度图，深度图采用无损压缩编码，保留了毫米级精度细节。齐全的关节状态参数（位置、速度、力）为模仿学习和强化学习提供了丰富的状态表征。凭借LeRobot框架的标准化处理，数据拥有统一的格式和完整的episode划分，使得训练与评估流程能够无缝衔接，为复杂操作技能的学习奠定了坚实基础。

使用方法

在应用层面，该数据集无缝支持LeRobot开源工具链，用户可借助其内置的数据可视化工具直观查看演示内容。整合于HuggingFace生态系统之中，数据集可通过datasets库便捷加载，并按照info.json中预设的训练/验证划分（全部82回合用于训练），直接用于训练模仿学习或行为克隆模型。值得注意的是，推荐将视频数据解码为图像序列后使用，同时可搭配LeRobot库中的标准预处理模块，以适配不同机器人学习算法的输入要求。

背景与挑战

背景概述

o-ring_remove数据集是机器人操作领域的一项新兴资源，由HuggingFace团队基于LeRobot框架创建，旨在捕捉精细的机械装配任务——O型圈移除。该数据集于近期发布，记录了双臂机器人（bi_widowxai_follower_robot）在操作过程中从多视角摄像头（高、低、右手腕）捕捉的彩色与深度视频，以及同步的关节位置、速度和力矩信息。其核心研究问题在于如何利用高维多模态传感数据学习灵巧操作技能，推动机器人从单纯执行预设轨迹向感知-行动耦合的模仿学习范式转变。该数据集包含82个演示片段，总计71,569帧，以30Hz频率采样，为研究提供了丰富的动态操作数据。其对相关领域的影响力体现在促进基于视觉与力觉融合的机器人学习算法的发展，为复杂接触操作任务提供基准，并支持跨机构复现与比较。

当前挑战

该数据集的核心挑战首先源于O型圈移除任务的高精度特性。这类操作涉及微小形变零件的抓取、拔出与分离，要求机器人具备毫厘级空间控制能力和鲁棒的触觉反馈整合，对模仿学习策略在小样本条件下的泛化构成严峻考验。其次，数据构建过程面临多源同步的复杂性——来自四个视角的流式视频（含深度图像）、高频关节动力学信号与时间戳必须严格对齐，任何延迟或错位都会影响学习模型的时序建模。此外，双臂协调动作的记录增加了动作维度，需规避冗余交互，同时保持数据自然流畅。视频压缩（AV1/HEVC）在保持细节与减小体积间的折衷，以及深度图像的无损编码，也要求投入额外的计算资源，这为数据存储和实时处理带来了工程挑战。

常用场景

经典使用场景

o-ring_remove数据集源自机器人操作领域中的精密装配与拆卸任务，其核心场景聚焦于O型密封圈的移除操作。该数据集记录了双臂机器人（bi_widowxai_follower_robot）在真实物理环境中执行此精细操作的全过程，通过高帧率（30fps）的RGB与深度图像，以及多维关节状态与动作序列，为模仿学习、行为克隆及强化学习等范式提供了理想的训练与评估平台。研究者常利用该数据集验证视觉运动策略在精密操作上的泛化能力，尤其是在处理柔性物体与接触丰富的任务时，其多模态观测数据设计支撑了从感知到动作的端到端学习研究。

解决学术问题

该数据集为机器人学习社区解决了精密操作任务中数据稀缺的痛点，尤其为研究柔性物体（如O型圈）的操控行为提供了标准化基准。它使学术界能够深入探索双臂协同控制、力觉与视觉融合以及长时程任务分解等核心问题，推动了从简单抓取到复杂装配的技能迁移研究。通过提供统一的动作空间与观测结构，该数据集助力量化不同算法（如扩散策略、Transformer-based策略）在动态接触场景下的稳健性与样本效率，从而加速了通用机器人操作策略的理论进展。

衍生相关工作

该数据集的发布催生了多项衍生研究，例如基于离线强化学习的策略微调方法、针对多摄像头感知的视觉表征预训练模型，以及在双臂协同框架下的模仿学习改进算法。其公开的标准化格式亦促使社区发展出跨任务的数据增强工具与仿真到现实的迁移流水线。部分工作更以该数据集为测试平台，对比了模型在未知物体位姿下的鲁棒性，从而为构建可泛化的机器人操作知识库贡献了关键数据支撑，推动了机器人学习领域的开放科学进程。