RMC-AIDA-L_fold_towel

RMC-AIDA-L_fold_towel数据集用于机器人操作任务，基于LeRobot的扩展格式构建，完全兼容LeRobot。数据集包含机器人类型、场景类型、原子操作等信息，以及总剧集、帧数、任务和视频等统计数据。它还提供摄像机视图、可用的注释和数据集结构的信息，包括文件组织和功能模式。数据集在Apache-2.0许可下发布，由RoboCOIN团队贡献。它支持Python，并由于其丰富的注释而支持各种学习方法。

原始信息汇总

RMC-AIDA-L_fold_towel 数据集概述

基本信息

• 数据集名称: RMC-AIDA-L_fold_towel
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模分类: 100K-1M
• 格式兼容性: 基于LeRobot扩展格式，完全兼容LeRobot

机器人配置

• 机器人类型: RMC-AIDA-L
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪

场景与动作

场景类型

• home

原子动作

• grasp
• place
• pick
• unfold

数据集统计

指标	数值
总情节数	314
总帧数	139069
总任务数	2
总视频数	942
总分块数	1
分块大小	1000
帧率	30

任务描述

主要任务

• 取出白色毛巾并展开
• 取出黑色毛巾并展开

子任务

1. 结束
2. 空
3. 用左臂按压并固定毛巾一角
4. 用右臂按压并固定毛巾一角
5. 用右夹爪按压并固定毛巾一角
6. 用左臂展开毛巾
7. 用左夹爪展开毛巾
8. 用右臂展开毛巾

数据特征

视觉观察

• observation.images.cam_high_rgb: 视频，帧率30，编码av1
• observation.images.cam_left_wrist_rgb: 视频，帧率30，编码av1
• observation.images.cam_right_wrist_rgb: 视频，帧率30，编码av1

状态与动作

• observation.state: float32
• action: float32

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

标注信息

子任务标注

• subtask_annotation: int32

场景标注

• scene_annotation: int32

末端执行器标注

• 方向: 运动方向分类
• 速度: 速度大小分类
• 加速度: 加速度大小分类

夹爪标注

• 夹爪模式: 开/关状态标注
• 夹爪活动: 活动状态分类（活动/非活动）

附加特征

• 末端执行器模拟位姿: 模拟空间中末端执行器的6D位姿信息
• 夹爪开合尺度: 连续夹爪开合测量

数据分割

• 训练集: 情节0:313

文件结构

RMC-AIDA-L_fold_towel_qced_hardlink/ ├── annotations/ ├── data/ │ └── chunk-000/ ├── meta/ └── videos/ └── chunk-000/ ├── observation.images.cam_high_rgb/ ├── observation.images.cam_left_wrist_rgb/ └── observation.images.cam_right_wrist_rgb/

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

贡献者

• RoboCOIN团队

版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，RMC-AIDA-L_fold_towel数据集通过RMC-AIDA-L型双臂机器人系统采集，采用兼容LeRobot框架的扩展数据格式。该数据集围绕家庭环境中的毛巾折叠任务展开，通过314个完整操作片段系统记录双指夹爪的抓取、放置、拾取与展开等原子动作。数据采集过程包含139,069帧多视角视觉观测，以30帧/秒的同步频率捕获高位、左右腕部三路RGB视频流，并整合28维关节状态与动作向量，形成标准化Parquet文件与MP4视频的混合存储架构。

特点

该数据集在机器人操作学习领域展现出多模态融合的显著特征，其核心价值体现在精细化的动作标注体系。数据集不仅提供原始视觉观测与机器人状态数据，更创新性地引入末端执行器运动学特征标注，包括12维仿真空间位姿、运动方向分类、速度加速度分级等结构化信息。特别值得关注的是对夹爪开合尺度、工作模式与活动状态的连续量化记录，配合8类细分子任务的时序标注，为模仿学习与强化学习算法提供了丰富的监督信号。这种多粒度注解机制有效支撑了从底层控制到高层任务规划的跨层次研究需求。

使用方法

基于LeRobot生态系统的技术架构，研究者可通过标准数据加载接口直接访问该数据集。使用流程始于数据文件的路径解析，按照chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet模式加载状态-动作序列与多维标注信息。视觉数据可通过视频路径模板动态解码，支持三路相机视角的同步渲染与特征提取。训练阶段建议采用完整314个训练片段，利用内置的时序索引与任务索引实现课程学习策略。对于动作生成模型的开发，可重点关注末端执行器位姿动作与夹爪控制量的联合建模，而细粒度子任务标注则为行为克隆算法的动作分段提供了天然的教学信号。

背景与挑战

背景概述

机器人操作领域正经历从单一任务执行向复杂精细操作转变的关键阶段。RMC-AIDA-L_fold_towel数据集由RoboCOIN团队于2025年构建，聚焦双灵巧手机器人对柔性物体的精细折叠操作。该数据集通过314个任务片段、13.9万帧多视角视频数据，系统记录了毛巾折叠过程中双臂协同的动力学特征与视觉轨迹，其核心研究在于解决柔性物体形变建模与双臂运动规划的耦合难题，为家庭服务机器人的环境适应性研究提供了重要数据支撑。

当前挑战

柔性物体操作面临形变动力学建模与视觉状态估计的双重挑战。该数据集需解决毛巾在抓取过程中非刚性形变导致的位姿不确定性，以及双臂协同展开时动作序列的时序依赖问题。在构建过程中，多传感器数据同步与标注一致性构成主要难点，特别是三路视觉流与28维关节状态数据的时空对齐，以及8类子任务在连续动作中的精确边界划分，这些因素共同增加了数据质量控制的复杂度。

常用场景

经典使用场景

在机器人操作学习领域，RMC-AIDA-L_fold_towel数据集通过双指夹爪机器人执行折叠毛巾任务，为模仿学习与强化学习算法提供了标准化的测试平台。其多视角视觉观测与精细动作标注体系，使研究者能够系统分析抓取、放置、展开等原子动作的时序关联，为双臂协调操作研究奠定了数据基础。

实际应用

在家庭服务机器人领域，该数据集支撑了毛巾折叠等日常家务任务的自动化实现。基于真实场景采集的139,069帧操作数据，为机器人适应不同材质、颜色的织物提供了迁移学习基础。其兼容LeRobot框架的特性，更促进了工业界在柔性物体操控领域的算法快速迭代与部署验证。

衍生相关工作

依托该数据集衍生的经典研究包括RoboCOIN项目提出的双臂协同操作框架，以及基于LeRobot的层次化强化学习方案。这些工作通过利用数据集中的多模态标注信息，开发出具有时序感知能力的动作生成模型，为后续的跨任务操作学习、仿真到实物的迁移研究提供了重要参考范式。