RMC-AIDA-L_pour_tea

RMC-AIDA-L_pour_tea 数据集是基于 LeRobot 格式扩展的，用于机器人操纵任务的数据集，包括抓取和倒茶等原子动作。数据集包含丰富的标注信息，如子任务分割、场景描述、末端执行器运动方向、速度、加速度等。数据集还提供了末端执行器在模拟空间中的位姿信息和抓取器打开比例等特征。数据集采用 LeRobot 格式，包含视频、状态数据、动作数据、元数据等，并按照特定目录结构组织。数据集在 Apache-2.0 许可下发布。

The RMC-AIDA-L_pour_tea dataset is extended based on the LeRobot format, serving as a robotic manipulation task dataset covering primitive actions such as grasping and tea pouring. It contains rich annotated information including subtask segmentation, scene descriptions, end-effector movement directions, velocity, acceleration and other relevant details. The dataset also provides features such as end-effector pose information in simulation space and gripper opening ratio. Adopting the LeRobot format, it includes video, state data, action data, metadata and other components, and is organized in a specific directory structure. The dataset is released under the Apache-2.0 license.

原始信息汇总

RMC-AIDA-L_pour_tea 数据集概述

基本信息

• 数据集名称: RMC-AIDA-L_pour_tea
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 数据规模: 10万-100万样本
• 格式兼容性: 基于LeRobot扩展格式，完全兼容LeRobot

机器人配置

• 机器人类型: RMC-AIDA-L
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪

场景类型

• 家庭环境 (home)
• 餐厅环境 (restaurant)

原子动作

• 抓取 (grasp)
• 放置 (place)
• 拾取 (pick)
• 倾倒 (pour)

数据集统计

指标	数值
总情节数	790
总帧数	547759
总任务数	2
总视频数	2370
总分块数	1
分块大小	1000
帧率	30 FPS

主要任务

单手抓取茶壶手柄并将茶倒入茶杯

子任务

包含14个不同的子任务：

1. 异常状态 (abnormal)
2. 结束状态 (end)
3. 空状态 (null)
4. 左夹爪拾取茶杯
5. 右夹爪拾取茶杯
6. 左夹爪拾取茶壶
7. 右夹爪拾取茶壶
8. 左夹爪将茶杯放置在视野中心
9. 右夹爪将茶杯放置在视野中心
10. 左夹爪将茶倒入茶杯
11. 轻夹爪将茶倒入茶杯
12. 右夹爪将茶倒入茶杯
13. 左夹爪放下茶壶
14. 右夹爪放下茶壶

摄像机视角

包含3个摄像机视角

可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度幅度分类
• 加速度幅度分类

夹爪标注

• 开/关状态标注
• 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真姿态（6D姿态信息）
• 夹爪开度尺度（连续测量）

数据划分

• 训练集: 情节0-789

数据集结构

数据文件

• 视频: 包含RGB摄像机观察的压缩视频文件
• 状态数据: 机器人关节位置、速度和其他状态信息
• 动作数据: 机器人动作命令和轨迹
• 元数据: 情节元数据、时间戳和标注

文件组织模式

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块: 数据组织为1个分块，每个分块大小1000

特征架构

视觉观察

• observation.images.cam_high_rgb: 视频 (480×640×3, 30 FPS, AV1编码)
• observation.images.cam_left_wrist_rgb: 视频 (480×640×3, 30 FPS, AV1编码)
• observation.images.cam_right_wrist_rgb: 视频 (480×640×3, 30 FPS, AV1编码)

状态和动作

• observation.state: float32 (28维)
• action: float32 (28维)

时间信息

• timestamp, frame_index, episode_index, index, task_index

标注特征

• subtask_annotation, scene_annotation

运动特征

• eef_sim_pose_state/action (12维)
• eef_direction_state/action (2维)
• eef_velocity_state/action (2维)
• eef_acc_mag_state/action (2维)

夹爪特征

• gripper_open_scale_state/action (2维)
• gripper_mode_state/action (2维)
• gripper_activity_state (2维)

目录结构

RMC-AIDA-L_pour_tea_qced_hardlink/ ├── annotations/ ├── data/ │ └── chunk-000/ ├── meta/ └── videos/ └── chunk-000/ ├── observation.images.cam_high_rgb/ ├── observation.images.cam_left_wrist_rgb/ └── observation.images.cam_right_wrist_rgb/

作者和贡献者

• RoboCOIN: RoboCOIN团队

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

数据集标签

• RoboCOIN
• LeRobot

版本信息

• v1.0.0 (2025年11月): 初始发布

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu et al.}, journal={arXiv preprint arXiv:2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，RMC-AIDA-L_pour_tea数据集通过RMC-AIDA-L双手机器人平台系统构建，采用LeRobot扩展格式确保数据兼容性。数据采集涵盖家庭与餐厅两种典型场景，围绕倒茶任务设计790个完整操作序列，形成54万余帧多维数据。通过三视角视觉传感器同步记录操作过程，结合28维状态与动作向量精确描述双臂协同运动，并以分块存储机制优化大规模数据管理。

使用方法

研究者可通过标准LeRobot接口加载parquet格式的状态动作序列与MP4视频文件，利用分层标注开展机器人策略学习。训练集包含全部790个操作片段，支持从原始传感器数据到高层行为语义的端到端建模。多模态数据支持关节空间轨迹生成、视觉运动策略优化等任务，仿真位姿信息更为数字孪生研究提供验证基础。

背景与挑战

背景概述

在机器人操作研究领域，复杂任务的数据驱动方法正成为推动智能体发展的关键。RMC-AIDA-L_pour_tea数据集由RoboCOIN团队于2025年构建，作为RoboCOIN项目的重要组成部分，专注于双手机器人倒茶任务的精细动作记录。该数据集依托RMC-AIDA-L型机器人平台，采用兼容LeRobot框架的扩展格式，涵盖家庭与餐厅两种典型场景，通过790个任务片段、54万余帧数据，系统捕捉抓取、放置、倾倒等原子动作的完整轨迹。其多维标注体系与仿真姿态数据，为机器人操作策略的泛化能力研究提供了重要支撑。

当前挑战

双手机器人操作需克服动作协调性与环境适应性的双重挑战。在任务层面，倒茶动作要求精确控制茶壶倾斜角度与移动轨迹，避免液体泼溅；同时需解决双手抓握力度分配、视觉-动作映射实时性等核心问题。数据构建过程中，面临多视角视频同步采集、高维状态-动作空间标注一致性、以及不同场景下光照与物体位姿变异带来的数据质量管控难题。此外，如何确保仿真姿态数据与实际物理系统间的迁移可靠性，亦是该数据集应用中的关键瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，RMC-AIDA-L_pour_tea数据集通过记录双指夹爪执行倒茶任务的全流程，为模仿学习与行为克隆算法提供了标准化测试平台。其多视角视觉数据与精细的动作标注，使研究者能够系统分析抓取、放置、倾倒等原子动作的时序关联，为复杂任务的分层策略学习奠定基础。

解决学术问题

该数据集有效解决了机器人精细操作中动作轨迹生成与多模态感知融合的学术难题。通过提供包含末端执行器位姿、速度、加速度的完整运动链数据，显著提升了动态场景下操作策略的泛化能力，为具身智能研究提供了可量化的评估基准。

实际应用

在服务机器人领域，该数据集支撑了家庭与餐饮场景的自动化服务系统开发。基于真实环境采集的倒茶任务数据，可直接用于训练机械臂执行液体转移操作，推动养老陪护与智能餐饮等实际场景的技术落地。

数据集最近研究

最新研究方向

在机器人操作领域，RMC-AIDA-L_pour_tea数据集凭借其丰富的双手机器人倒茶任务数据，正推动模仿学习与行为克隆的前沿探索。该数据集涵盖家庭和餐厅场景，提供多视角视觉观测与精细的末端执行器运动标注，为研究复杂操作任务中的动作分割与轨迹优化提供了关键支撑。随着RoboCOIN项目的推进，该数据集在促进机器人泛化能力与多任务学习方面展现出深远影响，为开发适应真实环境的智能协作机器人奠定了数据基础。