RMC-AIDA-L_pour_rice

RMC-AIDA-L_pour_rice 是一个基于 LeRobot 扩展格式的数据集，完全兼容 LeRobot。它包含丰富的注释，支持多种学习方法，并遵循 LeRobot 格式进行数据组织和特征。数据集遵循 Apache-2.0 许可证发布。

原始信息汇总

RMC-AIDA-L_pour_rice 数据集概述

基本信息

• 数据集名称: RMC-AIDA-L_pour_rice
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 规模分类: 100K-1M
• 代码库版本: v2.1
• 机器人类型: RMC-AIDA-L
• 末端执行器类型: 两指夹爪

数据集统计

指标	数值
总情节数	714
总帧数	413,739
总任务数	2
总视频数	2,142
总分块数	1
分块大小	1,000
帧率	30 FPS

场景与动作

场景类型

• 厨房
• 餐厅

原子动作

• 抓取
• 拾取
• 放置
• 倾倒

任务描述

主要任务

用一只手将碗放在桌子中央，用另一只手将米从谷物杯中倒入碗中。

子任务

包含16个不同的子任务：

1. 异常
2. 结束
3. 用右夹爪抓取装有米的杯子
4. 用左夹爪将碗移动到视野中心
5. 空
6. 用左夹爪拾取碗
7. 用右夹爪拾取碗
8. 用左夹爪拾取装有米的杯子
9. 用右夹爪拾取装有米的杯子
10. 用左夹爪将碗放置在视野中心
11. 用右夹爪将碗放置在视野中心
12. 用左夹爪将杯子放在桌子上
13. 用右夹爪将杯子放在桌子上
14. 用左夹爪将米从杯子倒入碗中
15. 用右夹爪将米从杯子倒入碗中
16. 静态

数据特征

视觉观测

• 观测图像.cam_high_rgb: 视频，30 FPS，AV1编码
• 观测图像.cam_left_wrist_rgb: 视频，30 FPS，AV1编码
• 观测图像.cam_right_wrist_rgb: 视频，30 FPS，AV1编码

状态与动作

• 观测状态: float32，28维
• 动作: float32，28维

注释信息

• 子任务注释: int32
• 场景注释: int32

运动特征

• 末端执行器仿真姿态状态/动作: float32，12维
• 末端执行器方向状态/动作: int32，2维
• 末端执行器速度状态/动作: int32，2维
• 末端执行器加速度状态/动作: int32，2维

夹爪特征

• 夹爪开合尺度状态/动作: float32，2维
• 夹爪模式状态/动作: int32，2维
• 夹爪活动状态: int32，2维

数据组织

文件结构

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据分割

• 训练集: 情节0-713

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，RMC-AIDA-L_pour_rice数据集通过RMC-AIDA-L型双臂机器人系统采集，采用LeRobot扩展格式构建。数据采集涵盖厨房与餐厅场景，记录了抓取、拾取、放置及倾倒等原子动作的714个完整操作序列。通过三路高清摄像头以30帧率同步捕获腕部与全局视角视频，结合28维关节状态与动作向量，形成413,739帧结构化数据。数据以分块存储机制组织，每个数据块包含千条轨迹，确保大规模数据的高效存取与管理。

特点

该数据集在机器人操作数据领域展现出多模态融合的显著特征。其核心优势在于提供三视角视觉流与高维状态动作空间的同步对齐，包含末端执行器的六维位姿、运动方向、速度加速度分类等精细标注。独特的双手协同操作数据覆盖16种细粒度子任务，从抓握容器到精准倾倒的完整链条均具备逐帧语义分割。丰富的机械手开合尺度、活动状态等多维度标注，为模仿学习与强化学习算法提供了立体化的监督信号。

使用方法

基于LeRobot兼容性设计，研究者可通过标准数据加载接口快速接入该数据集。使用流程始于解析parquet格式的状态动作序列与MP4格式的多视角视频流，利用帧索引实现跨模态数据对齐。训练阶段可调用预置的末端执行器仿真位姿、抓取器活动模式等标注信息，构建基于视觉的策略网络。评估时依托子任务分割标注验证动作分段精度，通过轨迹重现度衡量模型在双手协调操作任务中的表现。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同任务因其在复杂环境中的广泛应用而备受关注。RMC-AIDA-L_pour_rice数据集由RoboCOIN团队于2025年构建，聚焦于双手机器人在厨房与餐厅场景下的精细操作任务。该数据集基于LeRobot框架扩展，包含714个任务片段与超过41万帧数据，核心研究问题在于解决双手机器人协同抓取、放置及倾倒等原子动作的序列规划与执行。通过提供多视角视觉观测、末端执行器运动轨迹及丰富注释，该数据集为机器人模仿学习与策略优化奠定了重要基础，显著推动了家庭服务机器人领域的发展。

当前挑战

双手机器人协同操作面临动作时序协调与空间避障的复杂性挑战，需确保双臂运动轨迹的精确同步以避免干涉。数据集构建过程中，多视角视频数据同步采集与高维状态动作对齐存在技术难点，同时精细标注如末端执行器位姿与抓握状态需克服人工标注一致性难题。场景多样性不足亦限制了模型在未知环境中的泛化能力，而大规模多模态数据的存储与高效检索进一步增加了系统实现的复杂度。

常用场景

经典使用场景

在机器人操作学习领域，RMC-AIDA-L_pour_rice数据集通过记录双指夹爪执行抓取、放置、倾倒等原子动作的完整轨迹，为双臂协调操作研究提供了标准化实验平台。该数据集聚焦厨房与餐厅场景下的物料转移任务，其多视角视频流与精细动作标注体系，成为开发分层强化学习算法的理想测试基准，尤其适用于模拟人类双手协作的复杂操作序列。

衍生相关工作

基于该数据集衍生的RoboCOIN项目构建了开放式双臂操作基准测试体系，催生了多篇关于跨场景策略迁移的顶级会议论文。其与LeRobot框架的深度整合推动了机器人学习社区的标准化进程，相关成果为后续的SIM2REAL转移学习与多模态策略网络设计提供了重要启发。

数据集最近研究

最新研究方向

在机器人操作领域，RMC-AIDA-L_pour_rice数据集凭借其丰富的双手机器人操作数据，正推动模仿学习与任务分解研究的前沿发展。该数据集聚焦于厨房与餐厅场景下的精细操作任务，通过多视角视频流与高精度动作标注，为双臂协同控制算法的优化提供了关键支持。当前研究热点集中于利用其细粒度子任务分割数据，探索基于层次化强化学习的自主决策模型，以提升机器人在复杂环境中的泛化能力。随着家庭服务机器人需求的增长，此类数据集对推动具身智能的实际应用具有深远意义，为机器人执行日常操作任务奠定了坚实的数据基础。