RMC-AIDA-L_basket_storage_banana

RMC-AIDA-L_basket_storage_banana数据集是基于LeRobot扩展格式构建的，并与LeRobot完全兼容。该数据集使用RMC-AIDA-L机器人类型，代码库版本为v2.1，末端执行器类型为two_finger_gripper。数据集涵盖了家庭和厨房两种场景类型，并包含了抓取、拾取和放置等原子动作。数据集包含丰富的注释，支持多种学习方法，包括子任务分割、场景描述、末端执行器运动方向、速度和加速度分类、夹具模式、夹具活动状态、末端执行器仿真姿态和夹具开启尺度等。数据集按照LeRobot格式组织，包含视频、状态数据、动作数据和元数据等。数据集分为训练集，包含654个场景，共306335帧。

原始信息汇总

RMC-AIDA-L_basket_storage_banana 数据集概述

基本信息

• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 规模分类: 100K-1M
• 代码库版本: v2.1

机器人配置

• 机器人类型: RMC-AIDA-L
• 末端执行器类型: 两指夹爪

场景类型

• 家庭环境
• 厨房环境

原子动作

• 抓取
• 拾取
• 放置

数据集统计

指标	数值
总情节数	654
总帧数	306335
总任务数	4
总视频数	1962
总分块数	1
分块大小	1000
帧率	30

作者信息

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页面: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

任务描述

主要任务

• 左夹爪将篮子拾取到合适位置，右夹爪拾取香蕉放入篮子
• 右夹爪拾取黑色篮子水平放置在桌子中央，左夹爪拾取香蕉放入黑色篮子
• 左夹爪拾取黑色篮子水平放置在桌子中央，右夹爪拾取香蕉放入黑色篮子
• 右夹爪拾取黄色篮子水平放置在桌子中央，左夹爪拾取香蕉放入黄色篮子

子任务

包含18个具体子任务：

1. 异常状态
2. 结束状态
3. 空状态
4. 左夹爪拾取香蕉
5. 右夹爪拾取香蕉
6. 左夹爪拾取篮子
7. 右夹爪拾取篮子
8. 左夹爪拾取深色篮子
9. 右夹爪拾取深色篮子
10. 右夹爪拾取浅色篮子
11. 右夹爪将香蕉放入篮子
12. 左夹爪将香蕉放入深色篮子
13. 右夹爪将香蕉放入深色篮子
14. 左夹爪将香蕉放入浅色篮子
15. 左夹爪将篮子放置在视野中心
16. 左夹爪将深色篮子放置在视野中心
17. 右夹爪将深色篮子放置在视野中心
18. 右夹爪将浅色篮子放置在视野中心

数据特征

视觉观测

• observation.images.cam_high_rgb: 视频，帧率30，编码av1
• observation.images.cam_left_wrist_rgb: 视频，帧率30，编码av1
• observation.images.cam_right_wrist_rgb: 视频，帧率30，编码av1

状态与动作

• observation.state: float32
• action: float32

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

注释信息

• subtask_annotation: int32
• scene_annotation: int32

运动特征

• eef_sim_pose_state/action: 末端执行器6D位姿
• eef_direction_state/action: 末端执行器运动方向
• eef_velocity_state/action: 末端执行器速度
• eef_acc_mag_state/action: 末端执行器加速度

夹爪特征

• gripper_open_scale_state/action: 夹爪开合尺度
• gripper_mode_state/action: 夹爪模式
• gripper_activity_state: 夹爪活动状态

数据划分

• 训练集: 情节0-653

文件结构

• 数据文件: parquet格式，路径模式 data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: mp4格式，路径模式 videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，RMC-AIDA-L_basket_storage_banana数据集通过RMC-AIDA-L型双臂机器人系统采集构建，采用LeRobot扩展格式确保数据兼容性。数据采集涵盖家庭与厨房场景，通过双指夹爪执行抓取、拾取、放置等原子动作，共包含654个任务片段、30万帧数据，以分块存储的Parquet文件组织，每块容纳1000个片段，并配备三视角RGB视频流记录操作过程。

特点

该数据集以精细标注体系为显著特征，提供子任务分割、场景语义分类及末端执行器运动学参数等多维度注释。包含末端执行器6D位姿、速度方向、加速度幅值等运动特征，以及夹爪开合状态、活动模式等控制信号。数据维度覆盖28自由度关节状态与动作空间，配合三路高清视频流，为双臂协同操作研究提供全面感知与决策依据。

使用方法

研究者可通过标准LeRobot接口加载数据集，利用预定义的数据路径模式访问分块存储的Parquet文件。训练集包含全部654个片段，支持从视觉观察、状态序列到动作轨迹的端到端学习。多模态数据可通过特征键直接调用，包括关节角度、末端位姿、夹爪尺度等连续量，以及运动方向、速度等级等离散标注，适用于模仿学习、强化学习等多种机器人算法验证。

背景与挑战

背景概述

在机器人操作领域，双机械臂系统的协同控制一直是研究热点。RMC-AIDA-L_basket_storage_banana数据集由RoboCOIN团队于2025年发布，基于LeRobot框架构建，专注于家庭与厨房场景下的双指夹爪操作任务。该数据集通过654个任务片段、30万帧多视角视频数据，系统记录了抓取、拾取、放置等原子动作的完整轨迹，为双机械臂协同操作算法的开发提供了高精度仿真与真实世界数据支撑。其核心研究问题在于解决复杂环境中双机械臂的精细物体操控与任务分解能力，推动了机器人模仿学习与强化学习在真实场景中的融合应用。

当前挑战

该数据集致力于解决双机械臂在动态环境中进行物体转移与收纳的协同操作难题，具体挑战包括多视角视觉感知与运动规划的实时对齐、双机械臂动作序列的时序协调、以及不同材质物体的稳定抓取策略。在构建过程中，面临数据采集系统同步性保障、多模态传感器数据融合的一致性校验、以及大规模视频数据压缩存储的技术瓶颈，同时需确保18种子任务标注的精确性与动作片段的边界清晰度。

常用场景

经典使用场景

在机器人操作学习领域，RMC-AIDA-L_basket_storage_banana数据集聚焦于双臂协调的精细物体操控任务。该数据集通过记录双指夹爪在家庭与厨房场景中对篮子和香蕉的抓取、拾取、放置等原子动作，构建了完整的操作序列。其多视角视觉观测与丰富的运动学标注为模仿学习与强化学习算法提供了标准化测试平台，尤其适用于研究双臂协同操作中的动作规划与执行优化问题。

实际应用

在现实应用层面，该数据集支撑的服务机器人系统可执行家庭环境中的物品整理任务。通过模拟餐具收纳、食品分类等日常操作，数据集训练的模型能够指导机器人完成精细物体搬运与容器放置。其多相机视角与手腕视角的视觉数据，为开发适应复杂光照与遮挡环境的鲁棒感知系统提供了关键训练资源，推动家用机器人从单一任务向综合服务场景的跨越。

衍生相关工作

基于该数据集衍生的经典研究包括RoboCOIN项目提出的分层强化学习框架，该工作利用数据集中的子任务标注实现了操作技能的组合泛化。后续研究进一步探索了多模态融合网络在动作预测中的应用，通过联合分析视觉观测与运动学数据提升操作成功率。这些工作共同构建了双臂操作的标准评估体系，为机器人操作社区的算法比较与性能演进奠定了坚实基础。