RMC-AIDA-L_plate_storage

RMC-AIDA-L_plate_storage 是一个机器人数据集，专注于盘子操作任务。它使用基于 LeRobot 的扩展格式，并且与 LeRobot 完全兼容。该数据集包括各种注释，如子任务分割、场景描述以及末端执行器和夹具注释。它被组织成训练和测试分割，并包含视频、状态数据、动作数据和元数据。该数据集支持多种学习方法，具有丰富的注释和功能。

原始信息汇总

RMC-AIDA-L_plate_storage 数据集概述

📋 基本信息

• 数据集名称: RMC-AIDA-L_plate_storage
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模分类: 100K-1M
• 格式兼容性: 基于LeRobot扩展格式，完全兼容LeRobot

🤖 机器人配置

• 机器人类型: RMC-AIDA-L
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪

🏠 场景类型

• home

⚡ 原子动作

• grasp
• pick
• place

📊 数据集统计

指标	数值
总情节数	498
总帧数	284602
总任务数	2
总视频数	1494
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

用一只手夹住盘子，传递给另一只手，然后放在架子上。

子任务

包含9个不同的子任务：

1. abnormal
2. End
3. null
4. 用左手夹爪将盘子传递给右手夹爪
5. 用右手夹爪将盘子传递给左手夹爪
6. 用左手夹爪拾起盘子
7. 用右手夹爪拾起盘子
8. 用左手夹爪将盘子放在架子上
9. 用右手夹爪将盘子放在架子上

🎥 视觉数据

• 相机视角数量: 3
• 视频编码: av1
• 分辨率: 480×640
• 帧率: 30 FPS

具体相机视角

• observation.images.cam_high_rgb
• observation.images.cam_left_wrist_rgb
• observation.images.cam_right_wrist_rgb

🏷️ 可用标注

子任务标注

• 子任务分割: 细粒度的子任务分割和标注

场景标注

• 场景级描述: 语义场景分类和描述

末端执行器标注

• 方向: 机器人末端执行器运动方向分类
• 速度: 操作过程中的速度大小分类
• 加速度: 运动分析的加速度大小分类

夹爪标注

• 夹爪模式: 夹爪开/关状态标注
• 夹爪活动: 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真位姿: 仿真空间中末端执行器的6D位姿信息（状态和动作）
• 夹爪开合尺度: 连续的夹爪开合测量（状态和动作）

📂 数据结构

数据文件类型

• 视频: 包含RGB相机观测的压缩视频文件
• 状态数据: 机器人关节位置、速度和其他状态信息
• 动作数据: 机器人动作指令和轨迹
• 元数据: 情节元数据、时间戳和标注

文件组织模式

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频
• observation.images.cam_left_wrist_rgb: 视频
• observation.images.cam_right_wrist_rgb: 视频

状态和动作

• observation.state: float32
• action: float32

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

标注信息

• subtask_annotation: int32
• scene_annotation: int32

📊 数据划分

• 训练集: 情节0:497

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页面: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

👥 贡献者

• RoboCOIN: RoboCOIN团队

📄 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，该数据集采用RMC-AIDA-L型双臂机器人配合双指夹爪，在家庭场景中系统化采集盘具存取任务的动态数据。通过498个完整操作片段、284,602帧多视角视频及同步传感器数据，构建了涵盖抓取、拾取、放置等原子动作的密集标注序列。数据以LeRobot兼容格式组织，采用分块存储策略将千帧级视频流与28维关节状态动作向量并行记录，确保时序对齐与操作逻辑的完整性。

使用方法

研究者可通过LeRobot标准接口直接加载该数据集，利用预定义的训练划分（0-497片段）开展机器人操作策略学习。数据以parquet格式分块存储，支持直接读取视频帧序列与对应的状态动作对。多模态数据流可通过时间戳实现严格同步，末端执行器仿真位姿与夹爪控制参数为动力学建模提供基础。该数据集特别适用于双臂协调控制、动作分割与长期任务规划等研究方向，其丰富的运动学标注为行为克隆、强化学习算法提供了即用的训练范例。

背景与挑战

背景概述

在机器人操作学习领域，双手机器人协同控制一直是实现复杂任务的关键技术瓶颈。RMC-AIDA-L_plate_storage数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭环境下的双手机器人盘具存储任务。数据集采用RMC-AIDA-L型机器人平台，配备双指夹爪末端执行器，通过498个任务片段和284,602帧数据，系统记录了抓取、拾取、放置等原子动作的完整执行过程。该数据集基于LeRobot框架构建，兼容现代机器人学习标准，为双手机器人协调操作研究提供了高质量的基准数据支撑。

当前挑战

双手机器人协调操作面临多重技术挑战，包括双臂运动规划的空间避碰、任务执行的时序同步以及抓取力控制的精确协调。在数据集构建过程中，研究人员需要克服多视角视觉数据同步采集的复杂性，确保三个摄像头视角的时间对齐精度。同时，末端执行器六维位姿的精确标注对运动学建模提出严格要求，而夹爪开合状态的连续标度测量则需要高精度的传感器标定。此外，子任务分割标注的语义一致性维护，以及大规模视频数据压缩存储的技术优化，都是构建过程中需要解决的关键难题。

常用场景

经典使用场景

在机器人操作学习领域，RMC-AIDA-L_plate_storage数据集为双指夹爪机器人的精细操作提供了标准化实验平台。该数据集通过记录双机械臂协作完成餐具收纳任务的全流程，包括抓取、传递与放置等原子动作序列，为机器人动作规划算法的训练与验证构建了真实环境下的行为范本。其多视角视觉数据与完整状态动作轨迹的同步采集，使得研究者能够系统分析双臂协调控制中的时序依赖与空间约束问题。

解决学术问题

该数据集有效解决了机器人模仿学习中动态物体传递的轨迹优化难题。通过提供包含284,602帧的密集标注数据，研究者可深入探究双臂系统在非结构化环境下的抓握力控制、运动平滑性保持等关键问题。其丰富的末端执行器运动学注解为理解双机械臂任务分配策略提供了量化依据，显著推进了基于感知动作联动的机器人技能泛化研究。

实际应用

在家庭服务机器人开发中，该数据集支撑了餐具整理系统的智能化升级。基于真实场景采集的托盘传递数据，工程师能够训练机器人适应不同材质餐具的抓取参数，优化双臂交接过程中的防滑落控制策略。其多摄像头视角配置为开发视觉伺服系统提供了立体感知基础，助力实现家居环境中物品归置任务的自主化执行。

数据集最近研究

最新研究方向

在家庭服务机器人领域，RMC-AIDA-L_plate_storage数据集正推动双手机器人操作的前沿探索。该数据集聚焦于餐具收纳任务，通过丰富的多视角视觉数据与精细的末端执行器运动标注，为模仿学习与强化学习算法提供了高精度训练基础。当前研究热点集中于跨模态动作理解，利用其细粒度子任务分割与六维姿态信息，开发能够泛化至动态家居环境的协同抓取策略。随着RoboCOIN项目与LeRobot框架的深度融合，该数据集正成为解决双手协调操作瓶颈的关键资源，为家庭自动化场景中的物体传递与精准放置任务树立了新基准。