RMC-AIDA-L_fold_shorts

RMC-AIDA-L_fold_shorts数据集是基于LeRobot的扩展格式，完全兼容LeRobot。该数据集专注于机器人任务，包括抓取、拾取、折叠和放置等原子动作。数据集涵盖了家庭场景类型，并提供了丰富的注释，包括子任务分割、场景描述、末端执行器运动方向、速度和加速度分类，以及抓取器模式、活动状态和开合尺度。数据集还包含了末端执行器模拟姿态和抓取器开合尺度等额外特征。数据集采用LeRobot格式，包含视频、状态数据、动作数据和元数据，并按块组织。数据集提供了三种摄像机视图，并详细描述了可用的注释、数据分割和目录结构。数据集由RoboCOIN团队提供，并遵循Apache-2.0许可证。

原始信息汇总

RMC-AIDA-L_fold_shorts 数据集概述

📋 数据集基本信息

• 数据集名称: RMC-AIDA-L_fold_shorts
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模分类: 100K-1M
• 机器人类型: RMC-AIDA-L
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪

🏠 场景类型

• 家庭环境

🤖 原子动作

• 抓取
• 拾取
• 折叠
• 放置

📊 数据集统计

指标	数值
总情节数	866
总帧数	730046
总任务数	4
总视频数	2598
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

• 短裤正面朝上放置，左夹爪抓住短裤腰部，右夹爪抓住短裤底部并在中间折叠
• 短裤背面朝上放置，左夹爪抓住短裤腰部，右夹爪抓住短裤底部并在中间折叠
• 短裤正面朝上放置，右夹爪抓住短裤腰部，左夹爪抓住短裤底部并在中间折叠
• 短裤背面朝上放置，右夹爪抓住短裤腰部，左夹爪抓住短裤底部并在中间折叠

子任务

包含29个不同的子任务，涵盖调整、折叠、抓取、放置等操作

🎥 相机视角

• 包含3个相机视角

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 场景级描述和语义场景分类

末端执行器标注

• 运动方向分类
• 速度幅度分类
• 加速度幅度分类

夹爪标注

• 夹爪模式（开/关状态）
• 夹爪活动状态（活动/非活动）

附加特征

• 末端执行器仿真姿态（6D姿态信息）
• 夹爪开度尺度（连续测量值）

📂 数据划分

• 训练集: 情节0-865

📁 数据集结构

数据文件

• 视频: 包含RGB相机观察的压缩视频文件
• 状态数据: 机器人关节位置、速度和其他状态信息
• 动作数据: 机器人动作命令和轨迹
• 元数据: 情节元数据、时间戳和标注

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块: 数据组织为1个分块，大小为1000

📊 特征架构

视觉观察

• observation.images.cam_high_rgb: 视频，帧率30，编码av1
• observation.images.cam_left_wrist_rgb: 视频，帧率30，编码av1
• observation.images.cam_right_wrist_rgb: 视频，帧率30，编码av1

状态和动作

• observation.state: float32
• action: float32

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向（状态和动作）
• 末端执行器速度（状态和动作）
• 末端执行器加速度幅度（状态和动作）

夹爪特征

• 夹爪开度尺度（状态和动作）
• 夹爪模式（状态和动作）
• 夹爪活动状态

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

👥 作者

• RoboCOIN团队

📄 引用信息

如需在研究中引用此数据集，请使用提供的BibTeX格式引用论文。

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，RMC-AIDA-L_fold_shorts数据集采用基于LeRobot框架的扩展格式构建，确保了与现有机器人学习生态系统的完全兼容性。该数据集聚焦于家庭环境下的衣物折叠任务，通过RMC-AIDA-L型双臂机器人配合双指夹爪执行操作，涵盖了抓取、拾取、折叠和放置四个核心原子动作。数据采集过程包含866个完整操作序列，总计73万帧视觉与运动数据，通过分块存储机制将数据组织为单个体量为1000的区块，所有视频流均以30帧率AV1编码保存，形成了结构化程度极高的机器人操作记录体系。

特点

该数据集在机器人操作数据领域展现出多维度的技术特征，其核心价值体现在细粒度的动作分解与丰富的标注体系。数据集包含29种具体子任务描述，覆盖了从异常检测到双手协调折叠的完整操作流程。通过三路视觉传感器（高位摄像头、左右腕部摄像头）同步采集480×640分辨率的RGB视频，配合28维关节状态与动作向量，构建了立体化的操作感知空间。特别值得关注的是其完备的末端执行器运动学标注，包含6D位姿、速度方向、加速度等级等物理量，以及夹爪开合尺度与活动状态的多模态记录，为机器人精细操作策略研究提供了前所未有的数据支撑。

使用方法

在机器人技能学习应用中，本数据集遵循标准化的LeRobot数据加载范式。研究者可通过解析parquet格式的数据文件获取结构化状态与动作序列，配合MP4格式的多视角视频流进行视觉-动作联合建模。数据按episode索引组织，训练集涵盖0至865号完整操作序列，支持端到端的模仿学习与强化学习算法开发。利用内置的细粒度子任务标注，可实现操作步骤的分段学习与异常状态检测。对于运动规划研究，末端执行器的仿真位姿数据与运动学参数为轨迹生成提供了精确的物理约束，而夹爪状态序列则有助于研究抓握策略的时序特性。

背景与挑战

背景概述

在机器人操作领域，双手机器人系统因其能够模拟人类双手协同作业而备受关注。RMC-AIDA-L_fold_shorts数据集由RoboCOIN团队于2025年发布，作为RoboCOIN项目的重要组成部分，专注于解决衣物折叠这一精细操作任务。该数据集基于LeRobot框架构建，包含866个完整操作序列和73万帧多视角视觉数据，通过双指夹爪机器人记录抓取、拾取、折叠等原子动作，为家庭环境下的机器人自主操作研究提供了丰富的数据支撑。其核心研究问题在于探索双手机器人在非结构化环境中对柔性物体的精确操控能力，推动了机器人模仿学习与行为克隆技术的发展。

当前挑战

该数据集致力于解决双手机器人衣物折叠任务中的动作协调与空间规划难题，柔性物体的形变特性对抓取姿态和力控策略提出了极高要求。构建过程中面临多模态数据同步的复杂性，需同时处理三路高清视频流与28维关节状态数据；其次，精细动作标注存在主观性差异，29类子任务的边界划分需要专家反复校验；此外，模拟环境与真实世界的域差异使得末端执行器位姿数据的迁移应用充满挑战，而大规模并行数据采集对存储架构和计算资源也构成了显著压力。

常用场景

经典使用场景

在机器人操作学习领域，RMC-AIDA-L_fold_shorts数据集聚焦于家居环境中的衣物折叠任务，通过双指夹爪机器人执行抓取、拾取、折叠和放置等原子动作。该数据集记录了866个完整操作片段，涵盖短裤正反面不同摆放姿态下的折叠流程，为研究双臂协调操作提供了标准化测试平台。其多视角视觉观测与精细动作标注体系，成为开发家居服务机器人行为策略的核心训练资源。

衍生相关工作

基于该数据集衍生的经典工作主要围绕LeRobot框架的生态拓展，包括多层次动作分割算法与跨模态表示学习模型。研究者利用其丰富的子任务标注开发了分层强化学习架构，通过解耦复杂操作任务提升学习效率。相关成果进一步推动了RoboCOIN项目在双臂操作基准测试体系的完善，为机器人操作学习的标准化评估提供了重要参照。

数据集最近研究

最新研究方向

在机器人灵巧操作领域，RMC-AIDA-L_fold_shorts数据集聚焦于双指抓取器在家庭环境中的衣物折叠任务，为双手机器人协同控制研究提供了高精度标注数据。当前前沿研究主要探索基于多视角视觉观察的端到端模仿学习框架，结合末端执行器位姿、速度及抓取器状态等多模态特征，推动动态操作策略的泛化能力。该数据集与RoboCOIN项目及LeRobot生态的深度整合，正促进机器人操作技能在复杂非结构化场景中的实际应用，为家庭服务机器人的自主化发展奠定数据基础。