Split_aloha_pour_rice

这是一个基于LeRobot扩展格式的数据集，与LeRobot完全兼容。数据集涵盖了家庭和厨房等场景类型，包括放置、抓取、抓握和倾倒等原子动作。数据集包含了丰富的注释，以支持多样化的学习方法，如子任务分割、场景描述、末端执行器注释和抓手注释。数据集被组织成训练和测试分割，并遵循LeRobot格式。它包含视频、状态数据、动作数据和元数据。数据集是根据Apache-2.0许可证发布的。

原始信息汇总

Split_aloha_pour_rice 数据集概述

📋 基本信息

• 数据集名称: Split_aloha_pour_rice
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模分类: 100K-1M
• 格式兼容性: 基于LeRobot扩展格式，完全兼容LeRobot

🤖 机器人配置

• 机器人类型: Split_aloha
• 代码库版本: v2.1
• 末端执行器类型: two_finger_gripper

🏠 场景类型

• 家庭环境
• 厨房环境

🎯 任务描述

主要任务

右夹爪抓取米容器并放置在桌子中央，左夹爪抓取米勺并将米倒入米容器中

子任务

包含12个具体子任务：

1. 异常状态
2. 结束状态
3. 左夹爪抓取装有米的杯子
4. 右夹爪将碗移动到视野中心
5. 右夹爪将碗移动到视野中心
6. 空状态
7. 右夹爪拿起碗
8. 左夹爪拿起装有米的杯子
9. 右夹爪将碗放置在视野中心
10. 左夹爪将杯子放在桌子上
11. 左夹爪将米从杯子倒入碗中
12. 静态状态

📊 数据集统计

指标	数值
总情节数	740
总帧数	504182
总任务数	1
总视频数	2220
总分块数	1
分块大小	1000
帧率	30 FPS

📁 数据结构

文件组织

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频，480×640×3，30 FPS，AV1编码
• observation.images.cam_left_wrist_rgb: 视频，480×640×3，30 FPS，AV1编码
• observation.images.cam_right_wrist_rgb: 视频，480×640×3，30 FPS，AV1编码

状态与动作

• observation.state: float32，26维
• action: float32，26维

时间信息

• timestamp, frame_index, episode_index, index, task_index

标注信息

• subtask_annotation: int32，5维
• scene_annotation: int32，1维

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向分类
• 末端执行器速度分类
• 末端执行器加速度分类

夹爪特征

• 夹爪开合尺度（状态和动作）
• 夹爪模式分类
• 夹爪活动状态分类

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

夹爪标注

• 开合状态标注
• 活动状态分类

📂 数据划分

• 训练集: 情节0-739

👥 作者信息

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN

📄 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，Split_aloha_pour_rice数据集基于LeRobot扩展格式构建，确保了与LeRobot生态系统的完全兼容性。该数据集采用Split_aloha双机械臂机器人平台，配备两指夹爪末端执行器，在家庭与厨房场景中系统性地记录了740个完整操作片段。数据组织采用分块存储架构，将504,182帧视觉与状态数据划分为单一数据块，每块容量为1000个片段，所有视频数据以30帧率AV1编码格式保存，保证了数据的高效存取与处理。

特点

该数据集在机器人操作任务表征方面具有显著特色，涵盖放置、抓取、倾倒等基础动作的精细标注体系。多视角视觉观测系统提供高分辨率RGB视频流，包括全局视角与左右腕部视角的三路同步影像。运动学特征标注极为丰富，包含末端执行器的六维位姿、运动方向、速度加速度分类，以及夹爪开合状态与活动模式的多维度描述。十二项子任务的语义分割标注为复杂操作序列的层次化学习提供了结构化支撑，26维状态与动作向量完整表征了双机械臂系统的关节空间与操作空间动态。

使用方法

针对机器人模仿学习研究，该数据集可通过LeRobot标准接口直接加载，支持端到端的策略学习与行为克隆任务。研究者可基于parquet格式的数据文件访问多模态观测序列，利用时间戳与帧索引实现精确的时序对齐。三维视觉输入与多维状态特征的联合建模能够训练感知-动作映射网络，而丰富的运动学标注为动力学建模与轨迹优化提供了监督信号。子任务标注支持分层强化学习框架，末端执行器位姿数据则便于进行基于模型的规划算法验证。

背景与挑战

背景概述

在机器人操作研究领域，Split_aloha_pour_rice数据集由RoboCOIN团队于2025年推出，作为RoboCOIN项目的重要组成部分。该数据集聚焦于双手机器人协同操作任务，特别针对家庭与厨房场景中的精细物体操控问题。通过整合740个完整操作序列与超过50万帧多视角视觉数据，该资源为机器人学习算法提供了丰富的真实世界交互轨迹，显著推动了双臂协调控制与复杂任务分解的研究进程。

当前挑战

该数据集致力于解决双手机器人操作中动作序列规划与动态环境适应的核心难题。构建过程中面临多模态数据同步的技术挑战，需确保三路摄像头视频流与26维关节状态数据的精确时序对齐。同时，标注12类细粒度子任务要求对双手抓取、倾倒等复合动作进行精准分割，而模拟器与现实世界的传感器差异进一步增加了数据一致性的维护难度。

常用场景

实际应用

在现实应用层面，Split_aloha_pour_rice数据集的服务机器人开发具有重要价值。基于该数据集训练的模型可应用于家庭服务机器人，实现自动化的食物准备与分发功能。在工业自动化领域，其双臂协调操作范式可为装配线上的精密零件处理提供技术参考。此外，数据集涵盖的抓取、放置等基础动作为开发通用的物体操作技能库奠定了基础，促进了机器人操作能力的标准化与模块化发展。

衍生相关工作

围绕该数据集已衍生出多项重要研究工作。基于LeRobot框架的扩展开发了更高效的数据加载与预处理流程，提升了大规模机器人数据的使用效率。在算法层面，研究者利用其精细的动作标注开发了分层强化学习模型，实现了复杂任务的分解与学习。同时，数据集支持的多模态融合研究促进了视觉-动作联合表征学习的发展，为端到端的机器人操作策略学习提供了新的技术路径。