Split_aloha_plate_storage

Split_aloha_plate_storage 数据集是基于 LeRobot 数据集格式的扩展版本，与 LeRobot 完全兼容。该数据集专注于机器人任务，特别是在家庭和厨房场景中对盘子的操作。它包括各种原子动作，如抓取、捡起和放置。数据集具有丰富的子任务、场景和末端执行器注释，支持不同的学习方法。数据集分为训练和测试部分，并遵循 LeRobot 格式，具有特定的文件组织和特征模式。该数据集在 Apache-2.0 许可证下发布，并包括用于学术用途的引用。

原始信息汇总

Split_aloha_plate_storage 数据集概述

📋 数据集基本信息

• 数据集名称: Split_aloha_plate_storage
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模分类: 100K-1M
• 格式兼容性: 基于LeRobot扩展格式，完全兼容LeRobot

🤖 机器人配置

• 机器人类型: Split_aloha
• 代码库版本: v2.1
• 末端执行器类型: two_finger_gripper

🏠 场景类型

• home
• kitchen

⚡ 原子动作

• grasp
• pick
• place

📊 数据集统计

指标	数值
总片段数	499
总帧数	229687
总任务数	5
总视频数	1497
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

• 将盘子放在盘架上
• 左夹爪抓取绿色盘子，传递给右夹爪，右夹爪将绿色盘子放在盘架上
• 右夹爪抓取绿色盘子，传递给左夹爪，左夹爪将绿色盘子放在盘架上
• 左夹爪抓取粉色盘子，传递给右夹爪，右夹爪将粉色盘子放在盘架上
• 右夹爪抓取粉色盘子，传递给左夹爪，左夹爪将粉色盘子放在盘架上

子任务

1. null
2. 将盘子从左夹爪传递到右夹爪
3. 将盘子从右夹爪传递到左夹爪
4. 用左夹爪拾取盘子
5. 用右夹爪拾取盘子
6. 将盘子放在架子上

🎥 相机视图

• 包含3个相机视图

🏷️ 可用标注

子任务标注

• 子任务分割: 细粒度子任务分割和标注

场景标注

• 场景级描述: 语义场景分类和描述

末端执行器标注

• 方向: 机器人末端执行器运动方向分类
• 速度: 操作过程中的速度大小分类
• 加速度: 运动分析的加速度大小分类

夹爪标注

• 夹爪模式: 夹爪开/关状态标注
• 夹爪活动: 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真位姿: 仿真空间中末端执行器的6D位姿信息（状态和动作均可用）
• 夹爪开合尺度: 连续夹爪开合测量（状态和动作均可用）

📂 数据划分

• 训练集: 片段0:498

📁 数据集结构

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块: 数据组织为1个分块，每个分块大小1000

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频（720×1280×3，30fps，av1编码）
• observation.images.cam_left_wrist_rgb: 视频（480×640×3，30fps，av1编码）
• observation.images.cam_right_wrist_rgb: 视频（480×640×3，30fps，av1编码）

状态和动作

• observation.state: float32（26维）
• action: float32（26维）

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

标注

• subtask_annotation: int32
• scene_annotation: int32

👥 作者信息

• 贡献者: RoboCOIN - RoboCOIN团队

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页面: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📄 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，Split_aloha_plate_storage数据集采用LeRobot扩展格式构建，确保了与现有框架的完全兼容性。该数据集通过Split_aloha型机器人采集，配备双指夹爪末端执行器，在家庭与厨房场景中系统记录盘具存储任务。数据组织采用分块存储架构，将499个任务片段划分为1个数据块，每个块容纳1000个片段，并以30帧率同步采集三视角视觉数据。原始数据以Parquet格式保存，辅以MP4格式视频流，形成了多模态机器人操作记录的完整体系。

特点

该数据集在机器人操作数据领域展现出显著的多维特征。其核心价值在于涵盖抓取、拾取、放置等基础操作动作，并通过6种精细划分的子任务结构呈现双手协调操作模式。数据维度包含26自由度状态与动作向量，配合三路高清摄像头（顶部视角与双腕部视角）提供全方位视觉观测。独特的标注体系覆盖末端执行器运动方向、速度层级、加速度幅度等动力学参数，以及夹爪开合状态与活动模式，为机器人技能学习提供了丰富的监督信号。

使用方法

针对机器人操作算法的开发需求，该数据集支持端到端的学习流程。研究者可通过加载Parquet文件直接获取状态-动作对序列，利用帧索引和时间戳实现时序对齐。多路视频流可与机器人状态数据同步解析，用于模仿学习或强化学习算法的训练。丰富的运动学标注支持分层技能学习，而子任务分割信息便于任务分解研究。数据集完全兼容LeRobot生态系统，支持标准数据加载器实现快速原型开发，为双手操作策略验证提供标准化基准。

背景与挑战

背景概述

在机器人操作研究领域，双机械臂协同作业一直是实现复杂任务的关键技术。Split_aloha_plate_storage数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，专注于餐具收纳这一日常家居场景。该数据集采用Split_aloha机器人平台，配备双指夹爪末端执行器，通过499个任务片段和22万余帧数据，系统记录了盘具抓取、传递与放置的完整操作流程。其核心研究目标在于解决双机械臂协同操作中的动作规划与物体交接问题，为机器人学习在家庭环境中的精细操作提供重要数据支撑。

当前挑战

该数据集致力于解决双机械臂协同操作中的核心难题，包括跨臂物体传递的轨迹规划、抓取姿态的精确控制以及动态环境下的稳定性保持。构建过程中面临多重挑战：多视角视觉数据的同步采集与标定需要精确的时间对齐；双机械臂运动轨迹的协调控制涉及复杂的动力学建模；细粒度动作标注要求对抓取、传递、放置等子任务进行精确分割。此外，真实家居场景下的光照变化、物体遮挡等环境因素增加了数据采集的复杂度，而保持操作序列的自然流畅性对数据质量提出了更高要求。

常用场景

经典使用场景

在机器人操作学习领域，Split_aloha_plate_storage数据集为双机械臂协同操作提供了标准化实验平台。该数据集聚焦于餐具收纳任务，通过499个完整交互序列和22万余帧多视角视觉数据，系统记录了抓取、传递、放置等基础操作的全过程。其精细的原子动作标注与多模态传感器数据，为研究双臂协调控制策略提供了丰富样本，特别适用于验证模仿学习与强化学习算法在复杂家庭环境中的泛化能力。

衍生相关工作

基于该数据集衍生的经典研究包括RoboCOIN团队提出的分层模仿学习框架，其通过子任务标注实现了操作技能的模块化复用。后续研究进一步开发了多模态融合网络，将腕部摄像头数据与力学传感器信息结合，显著提升了抓取成功率。相关成果已推动LeRobot生态系统的工具链优化，并为开源社区贡献了标准化双机械臂操作评估基准。

数据集最近研究

最新研究方向

在机器人操作领域，Split_aloha_plate_storage数据集正推动双手机器人协同控制的前沿探索。该数据集聚焦家庭与厨房场景下的精细操作任务，通过丰富的多视角视觉数据与高精度运动标注，为模仿学习与强化学习算法提供了关键支撑。当前研究热点集中于跨模态表示学习，旨在融合视觉观察与末端执行器状态信息，以提升双爪传递物体的泛化能力。随着RoboCOIN等开源项目的兴起，此类数据正加速双臂协作在真实环境中的部署，对服务机器人智能化发展具有深远意义。