rainbowrobotics/icra_0526_compound_rel

这是一个机器人操作数据集，使用LeRobot创建。数据集包含双臂机器人（左右臂各7个关节和左右夹爪）的动作和观测数据，观测包括机器人状态（关节位置和夹爪状态）以及来自三个视角（前、右、左）的视频图像（分辨率为480x640和640x480，RGB格式）。数据以15fps的帧率采集，总共有1954个episodes、466006帧和3个任务，适用于机器人学习和控制研究。数据格式为parquet，附带视频文件，机器人类型为rby1。This is a robotic manipulation dataset created using LeRobot. It contains action and observation data for a dual-arm robot (with 7 joints per arm and left/right grippers), where observations include robot state (joint positions and gripper states) and video images from three perspectives (front, right, left) at resolutions of 480x640 and 640x480 in RGB format. Data is collected at 15fps, with a total of 1954 episodes, 466006 frames, and 3 tasks, suitable for robot learning and control research. The data is in parquet format with accompanying video files, and the robot type is rby1.

搜集汇总

数据集介绍

构建方式

该数据集由Rainbow Robotics基于LeRobot框架构建，专注于双手机器人操作任务。数据通过RBY1型机器人采集，包含1954个操作片段，总计466,006帧数据，帧率为15fps。数据集的构建采用了多模态传感器融合策略，同时记录来自前方、左侧和右侧三个视角的视觉信息，以及16维度的动作与状态数据，包括双臂各7个关节角度和两个夹爪的开合状态。数据以Parquet格式存储结构化信息，视频数据则采用AV1编码的MP4文件存储，以确保高压缩比与视觉保真度。

使用方法

用户可通过LeRobot库直接加载该数据集，其代码接口设计简洁高效。使用`lerobot.Dataset`或`datasets.load_dataset`函数即可读取数据，其中默认配置指向分布式的Parquet与视频文件。数据集已预设训练/验证分割（全部1954个片段用于训练），并提供了标准的特征名称（如`action`、`observation.state`、`observation.images.front`等）。借助LeRobot的可视化工具，开发者能够快速浏览各个操作片段。该数据集特别适用于模仿学习、行为克隆以及基于视觉的机器人操控策略研究，可直接作为训练输入或评估基准。

背景与挑战

背景概述

在机器人学习领域，从人类演示中学习复杂操作技能一直是一个核心研究课题。icra_0526_compound_rel数据集由Rainbow Robotics团队创建，依托于LeRobot框架进行构建，旨在推动双臂机器人协同操作的研究。该数据集发布于2025年ICRA会议期间，其核心研究问题聚焦于如何利用多视角视觉与关节状态信息，使双机械臂系统（以Rainbow Robotics的RBY1型机器人为代表）完成如装配、抓取等复合型任务。数据集包含1954个演示片段、约46.6万帧时序数据，以及前、左、右三路摄像头采集的多元化视觉信息，为双臂协调策略的模仿学习与强化学习提供了高质量的基准。其对相关领域的影响力体现在：一方面填补了双臂复合操作数据集的空白，另一方面通过标准化数据格式（16维动作空间与状态空间）促进了算法的可复现性。

当前挑战

该数据集所应对的首要领域挑战在于双臂机器人协同操作的策略泛化问题——传统单臂数据集难以支撑双臂在三维空间中的对称与互补运动建模，而本数据集通过同步记录双臂关节角度与夹爪状态，为解耦双臂动态耦合关系提供了数据基础。在构建过程中，面临的挑战十分突出：首先，多模态数据的高频同步采集（15FPS）需要精密的时序对齐机制，以避免视觉与状态信息的错位；其次，长时序演示中（平均每段约238帧）的累积误差与遮挡问题，要求对重复动作片段进行严格筛选；再者，三路异构摄像头（480x640与640x480分辨率混用）的统一编解码（AV1格式）增加了存储与压缩的复杂度；最后，原始动作轨迹的非确定性（如人为演示的微小震颤）对数据归一化与噪声过滤提出了妥协需求，以平衡数据逼真度与算法训练稳定性。

常用场景

经典使用场景

在机器人学习与操作领域，icra_0526_compound_rel数据集为模仿学习和行为克隆提供了高质量的基准资源。该数据集由1954个完整演示片段构成，包含超过46万帧的时序观测数据，涵盖了双臂机器人RBY1在执行复合操作任务时的视觉影像与关节状态信息。通过同步采集前、左、右三视角的RGB视频以及左右臂共16维的动作和状态数据，研究者能够利用此数据集训练从视觉输入到动作输出的端到端策略网络，探索多模态融合对机器人精细化操作能力的影响。这一经典使用场景不仅验证了数据驱动方法在复杂操作任务中的可行性，更为后续开源机器人数据集的建设树立了范式。

解决学术问题

该数据集有效解决了机器人领域长期存在的样本稀缺与任务泛化难题。在此之前，学术界对双臂协调操作的研究多依赖于仿真环境或小规模定制数据集，难以真实反映物理世界中物体交互的复杂性和不确定性。icra_0526_compound_rel以15帧每秒的高采样率提供真实机器人演示数据，使得研究者能够深入分析多视角观测下动作预测的因果关联，从而为因果推断在机器人策略学习中的应用提供支撑。此外，该数据集包含三种不同类型的复合任务，为研究任务条件化策略、跨任务知识迁移以及多层动作抽象等问题奠定了数据基础，推动了从单一技能学习向复合技能驯化的学术演进。

实际应用

在实际应用层面，icra_0526_compound_rel数据集加速了人机协作与柔性制造场景中智能机器人的部署进程。基于该数据集训练的策略可以直接迁移至同类双臂机器人平台，实现物品抓取、装配操作以及工具使用等典型工业任务的自动化执行。由于数据包含详细的视觉纹理与关节角度信息，机器人能够通过模仿学习在结构化环境中快速适应新工件或布局变动，显著降低了传统编程方式的部署成本。同时，该数据集所采用的LeRobot框架原生支持数据可视化与策略评估，使得技术人员能够在实际产线前快速迭代模型，为家庭服务、医疗辅助等非结构化场景中的机器人应用提供了可行的技术路线。

数据集最近研究

最新研究方向

该数据集聚焦于双臂协作机器人RBY1在复合任务中的模仿学习，通过采集1954个演示片段与46.6万帧多视角视觉-动作数据，为具身智能体学习精细操作提供关键训练资源。当前研究前沿在于利用该数据集中16维关节空间动作及三视角视觉输入，探索基于视觉语言模型引导的行为克隆与端到端策略泛化，其多任务标签（3类复合操作）与低帧率（15FPS）特性尤其适配长程任务分解与因果推理研究。结合LeRobot生态与Apache-2.0许可，该数据集正推动机器人领域从单一操作向复合技能迁移的范式转变，如突破双臂协同的时序一致性瓶颈，或结合扩散策略实现复杂场景下的零样本自适应，为下一代家庭服务与工业装配机器人奠定数据基础。