RMC-AIDA-L_build_blocks

RMC-AIDA-L_build_blocks数据集是一个基于LeRobot扩展格式的数据集，完全兼容LeRobot。该数据集专注于机器人任务，并包含各种注释和特征，以支持多样化的学习方法。它涵盖的场景类型包括“家庭”，并包括原子动作，如“抓取”、“捡起”和“放置”。该数据集共有791个总剧集，842,846个总帧数和2个总任务。它被组织成一个训练分割，并遵循LeRobot格式进行数据组织。该数据集包括丰富的子任务、场景、末端执行器和夹具的注释，以及额外的特征，如末端执行器模拟姿态和夹具开启尺度。该数据集是根据Apache-2.0许可证发布的。

原始信息汇总

RMC-AIDA-L_build_blocks 数据集概述

基本信息

• 数据集名称: RMC-AIDA-L_build_blocks
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 规模: 100K-1M

技术规格

• 机器人类型: RMC-AIDA-L
• 代码库版本: v2.1
• 末端执行器类型: two_finger_gripper
• 场景类型: home
• 原子动作: grasp, pick, place

数据集统计

指标	数值
总片段数	791
总帧数	842846
总任务数	2
总视频数	2373
总分块数	1
分块大小	1000
帧率	30

任务描述

主要任务

• 单臂开始搭建积木
• 单臂开始搭建积木

子任务

包含16个不同的子任务：

1. abnormal
2. End
3. 用左手夹爪抓取拱形积木
4. 用右手夹爪抓取拱形积木
5. 用左手夹爪抓取盒形积木
6. 用右手夹爪抓取盒形积木
7. 用左手夹爪抓取三角形积木
8. 用右手夹爪抓取三角形积木
9. null
10. 用左手夹爪将拱形积木放置在视野中心
11. 用右手夹爪将拱形积木放置在视野中心
12. 用左手夹爪将盒形积木放置在拱形积木上
13. 用右手夹爪将盒形积木放置在拱形积木上
14. 用左手夹爪将三角形积木放置在盒形积木上
15. 用左手夹爪将三角形积木放置在盒形积木上
16. 用右手夹爪将三角形积木放置在盒形积木上

数据特征

视觉观测

• 3个相机视角：cam_high_rgb, cam_left_wrist_rgb, cam_right_wrist_rgb
• 分辨率：480×640×3
• 帧率：30 FPS
• 编码：av1

状态与动作

• 观察状态：28维浮点数组
• 动作：28维浮点数组

注释信息

• 子任务注释：细粒度子任务分割和标注
• 场景注释：语义场景分类和描述
• 末端执行器注释：方向、速度、加速度分类
• 夹爪注释：模式、活动状态、开合尺度

数据组织

文件结构

• 数据文件：Parquet格式，按分块组织
• 视频文件：MP4格式，按相机视角组织
• 元数据：JSON格式

数据划分

• 训练集：片段0-790

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

贡献者

• RoboCOIN团队

引用格式

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu et al.}, journal={arXiv preprint arXiv:2511.17441}, url={https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据集构建领域，RMC-AIDA-L_build_blocks采用基于LeRobot框架的扩展格式进行系统化构建。该数据集通过RMC-AIDA-L型双臂机器人系统，在家庭场景中执行积木搭建任务，共采集791个完整操作片段，涵盖842846帧数据。数据以分块方式组织为单个数据块，每个数据块容量为1000个片段，采用Parquet格式存储机器人状态、动作指令及多视角视觉观测数据，确保数据结构的规范性与兼容性。

特点

该数据集在机器人操作研究领域展现出显著的多模态特性，整合了三种不同视角的视觉观测数据，包括高位固定摄像头及左右腕部摄像头，均以30帧率采集。数据集提供丰富的动作语义标注，涵盖抓取、拾取、放置等基本操作单元，并包含16种精细划分的子任务标注。特别值得关注的是其完备的末端执行器运动特征，包含六维位姿、速度方向、加速度幅度等运动学参数，以及夹爪开合状态与活动模式等多维度控制信息，为复杂操作策略学习提供全面支撑。

使用方法

基于LeRobot框架的兼容性设计，研究者可直接利用标准数据加载接口访问该数据集。数据按训练集划分组织，涵盖0至790号操作片段，用户可通过指定数据块编号和片段索引路径进行精确访问。数据集支持机器人状态观测、动作指令解析、多视角视频回放等核心功能，同时提供丰富的运动学特征与语义标注信息。研究人员可基于此开展模仿学习、强化学习、操作策略泛化等研究，亦可利用其精细的动作标注进行技能分解与组合学习实验。

背景与挑战

背景概述

在机器人操作领域，双手机器人系统的精细控制与协作一直是研究热点。RMC-AIDA-L_build_blocks数据集由RoboCOIN团队于2025年发布，基于LeRobot框架构建，专注于家庭环境下的积木搭建任务。该数据集包含791个任务片段和超过84万帧的多视角视频数据，通过双指夹爪机器人记录抓取、拾取与放置等原子操作，旨在推动双臂协调操作与长期任务规划算法的研究。其丰富的运动学标注与多模态观测数据为机器人模仿学习与策略优化提供了重要支撑。

当前挑战

该数据集致力于解决双臂机器人精细操作中的动作序列规划与多模态感知融合问题。构建过程中面临多重挑战：首先需在真实家庭场景中同步采集三路高清视频与28维关节状态数据，确保时序对齐精度；其次需对12种末端执行器运动特征与抓握状态进行细粒度标注，涉及复杂的手眼协调逻辑验证；此外，积木组合任务中物体位姿的动态变化要求标注系统具备抗遮挡与视角变换的鲁棒性。

常用场景

经典使用场景

在机器人操作学习领域，RMC-AIDA-L_build_blocks数据集为双臂协作操作提供了典型范例。该数据集聚焦于家庭环境下的积木搭建任务，通过791个完整操作片段和84万余帧数据，系统记录了双指夹爪对拱形、盒形、三角形积木的抓取与放置过程。其多视角视觉观测与精细的动作标注，为模仿学习与强化学习算法提供了理想的训练平台，特别适用于研究双臂协调控制策略在结构化环境中的表现。

实际应用

在工业与家庭服务机器人领域，该数据集具有显著的应用价值。基于积木搭建的操作范式可直接迁移至物流分拣、产品装配等工业场景，其双指夹爪的操作模式与常见的工业夹具高度契合。在家庭服务方面，数据集中的抓取放置技能可应用于日常物品整理、餐具摆放等任务。多视角视觉系统的配置方案，为实际机器人系统的传感器布局提供了参考标准。

衍生相关工作

该数据集依托RoboCOIN项目生态，已催生多项重要研究工作。基于LeRobot框架的兼容性设计，促进了机器人学习算法的快速迭代与比较研究。其丰富的标注体系启发了多模态融合学习方法的发展，特别是在视觉-动作对应关系建模方面。数据集提供的标准化评估协议，为双臂操作算法的性能比较建立了统一基准，推动了领域内研究工作的可复现性提升。