Split_aloha_basket_storage_banana

Split_aloha_basket_storage_banana数据集是一个基于LeRobot扩展格式的数据集，完全兼容LeRobot。该数据集使用Split_aloha机器人，代码库版本为v2.1，末端执行器类型为two_finger_gripper。数据集覆盖的场景类型包括家庭和厨房，包括的原子动作有抓取、放置和拾取。数据集共有368个剧集，164327帧，1104个视频，分为1个大小为1000的块。数据集还包括丰富的注释，以支持各种学习方法。数据集遵循LeRobot格式，包含视频、状态数据、动作数据和元数据等组件。数据集分为训练集和测试集，其中训练集包含前367个剧集。

原始信息汇总

Split_aloha_basket_storage_banana 数据集概述

基本信息

• 数据集名称: Split_aloha_basket_storage_banana
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 规模类别: 100K-1M
• 标签: RoboCOIN、LeRobot

技术规格

• 机器人类型: Split_aloha
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪
• 帧率: 30 FPS

场景与动作

场景类型

• 家庭环境
• 厨房环境

原子动作

• 抓取
• 放置
• 拾取

数据集统计

指标	数值
总情节数	368
总帧数	164327
总任务数	1
总视频数	1104
总分块数	1
分块大小	1000

任务描述

主要任务

拾取香蕉并放入篮子中

子任务

1. 异常状态
2. 结束状态
3. 使用右夹爪抓取香蕉
4. 使用左夹爪抓取篮子
5. 空状态
6. 使用右夹爪将香蕉放入篮子
7. 使用左夹爪将篮子放置在桌子中央
8. 静态状态

数据特征

视觉观测

• observation.images.cam_high_rgb: 视频，30 FPS，AV1编码
• observation.images.cam_left_wrist_rgb: 视频，30 FPS，AV1编码
• observation.images.cam_right_wrist_rgb: 视频，30 FPS，AV1编码

状态与动作

• observation.state: float32，26维
• action: float32，26维

时间信息

• timestamp、frame_index、episode_index、index、task_index

注释信息

• subtask_annotation、scene_annotation

运动特征

• 末端执行器仿真位姿（状态和动作）
• 末端执行器方向、速度、加速度分类
• 夹爪开合尺度、模式、活动状态

数据组织

文件结构

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据分割

• 训练集: 情节0-367

作者信息

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

版本历史

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，Split_aloha_basket_storage_banana数据集通过Split_aloha双机械臂平台系统构建，采用LeRobot扩展格式确保兼容性。数据采集涵盖家庭与厨房场景，聚焦香蕉抓取与篮子放置任务，通过368个完整交互片段记录164,327帧视觉与运动数据。采集过程整合三视角高清视频流与26维关节状态信息，以30帧率同步保存机械臂位姿、夹爪开合度等多维时序特征，并依据任务逻辑划分为8类精细化子任务标注。

特点

该数据集以双指夹爪操作特性为核心，提供多模态协同标注体系。其独特价值体现在三路同步视觉流观测，包含高位全局视角与左右腕部细节视角，配合末端执行器的六维位姿仿真数据。运动特征涵盖方向、速度、加速度的离散分类，夹爪活动状态则通过开启尺度连续测量与模式分类双重标注。丰富的语义注解层包括场景分类、子任务分割及动作阶段识别，为模仿学习与行为分析提供结构化支撑。

使用方法

研究者可通过LeRobot标准接口加载数据，利用parquet格式的高效列存储特性快速访问多维特征。训练阶段建议按片段索引划分数据集，368个交互片段均适用于策略学习任务。视觉模态支持直接解码AV1压缩视频流，状态与动作空间均以26维浮点向量表征机械臂全参数。注解系统允许按子任务类型筛选数据轨迹，运动学特征可直接用于动力学建模，夹爪状态变量则为抓握策略优化提供监督信号。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同执行复杂任务一直是研究热点。Split_aloha_basket_storage_banana数据集由RoboCOIN团队于2025年发布，聚焦于家庭环境中的双手物体操作任务。该数据集基于LeRobot框架构建，包含368个完整操作序列，覆盖抓取、放置等基础动作，旨在解决双手协调操作中的感知与控制问题。通过多视角视觉观测与精细的动作标注，为机器人学习算法提供了丰富的训练数据，推动了家庭服务机器人智能化发展。

当前挑战

该数据集致力于解决双手协调操作中的动作规划与执行精度问题，涉及多模态感知融合与动态环境适应性等核心难点。在构建过程中，面临双手动作同步标注的复杂性，需要精确记录两个机械臂的位姿、速度与抓取状态。多摄像头视角的数据对齐与时间戳同步增加了技术难度，同时需保证在家庭场景多样性下数据的一致性与泛化能力。大规模操作序列的存储与高效访问也对数据管理系统提出了较高要求。

常用场景

经典使用场景

在机器人操作学习领域，Split_aloha_basket_storage_banana数据集以其丰富的双指夹爪操作序列成为经典研究工具。该数据集聚焦于家庭环境中的物体抓取与放置任务，通过368个完整操作片段和16万余帧数据，系统记录了机器人执行香蕉抓取与篮筐存储的完整流程。其多视角视觉观测与精细的动作标注为模仿学习算法提供了标准化的评估基准，特别在双机械臂协同操作研究中具有重要价值。

实际应用

在现实应用层面，该数据集支撑的服务机器人技术已逐步融入日常生活场景。基于其训练的控制系统能够实现厨房环境中的物品整理与收纳，为老年辅助与智能家居系统提供核心技术支撑。工业领域则借鉴其双机械臂协同操作范式，优化生产线上的精密装配流程。教育机构利用该数据集开发机器人操作课程，培养新一代机器人工程师的实践能力。

衍生相关工作

围绕该数据集已衍生出多项具有影响力的研究工作。RoboCOIN团队基于此开发了开放式双手机器人操作基准，推动了社区标准化进程。LeRobot框架的扩展应用将数据集整合进端到端学习管道，催生了多任务操作网络架构的创新。后续研究进一步挖掘其运动学标注价值，在动态抓取策略生成与抗干扰控制领域取得突破，形成了一系列被广泛引用的经典算法模型。