five

AgiBot-g1_tool_storage

收藏
Hugging Face2025-11-29 更新2025-11-30 收录
下载链接:
https://huggingface.co/datasets/RoboCOIN/AgiBot-g1_tool_storage
下载链接
链接失效反馈
官方服务:
资源简介:
AgiBot-g1_tool_storage 是一个基于 LeRobot 框架的机器人数据集,兼容 LeRobot,专注于家庭环境下的机器人任务,如抓取、放置和拾取。数据集包含丰富的标注和特征,包括视觉观察、状态和动作数据、时间信息、标注、运动特征、抓手特征和元信息。数据集分为训练和测试两部分,遵循特定的目录结构。数据集遵循 Apache-2.0 许可证,可用于研究论文。
创建时间:
2025-11-19
原始信息汇总

AgiBot-g1_tool_storage 数据集概述

基本信息

  • 数据集名称: AgiBot-g1_tool_storage
  • 许可证: apache-2.0
  • 支持语言: 英语、中文
  • 任务类别: 机器人学
  • 标签: RoboCOIN, LeRobot
  • 帧数范围: 10K-100K

机器人配置

  • 机器人类型: AgiBot-g1
  • 代码库版本: v2.1
  • 末端执行器类型: two_finger_gripper

场景与动作

场景类型

  • home

原子动作

  • grasp
  • place
  • pick

数据集统计

指标 数值
总片段数 67
总帧数 30600
总任务数 1
总视频数 536
总分块数 1
分块大小 1000
帧率 30
数据集大小 13.5GB

任务描述

主要任务

将工具放入白色桌子上的黄色盒子中

子任务

  1. 同时从配件包装区域抓起并抬起鼠标和电源线
  2. null
  3. 将鼠标和电源线放入盒子中

数据特征

视觉观测

  • 8个相机视角,包括:
    • cam_high_rgb (720×1280)
    • cam_left_wrist_rgb (480×848)
    • cam_right_wrist_rgb (480×848)
    • 5个鱼眼相机 (1536×1920)
  • 所有视频帧率:30 FPS
  • 编码格式:av1

状态与动作

  • observation.state: float32[41] - 机器人关节状态
  • action: float32[34] - 机器人动作命令

注释信息

  • 子任务注释: 细粒度子任务分割和标注
  • 场景注释: 语义场景分类和描述
  • 末端执行器注释: 方向、速度、加速度分类
  • 夹爪注释: 模式、活动状态、开合尺度

数据组织

文件结构

  • 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
  • 分块: 1个分块,每个分块1000个片段

数据划分

  • 训练集: 片段0-66

作者与链接

贡献者

  • RoboCOIN - RoboCOIN Team

相关链接

  • 主页: https://flagopen.github.io/RoboCOIN/
  • 论文: https://arxiv.org/abs/2511.17441
  • 代码库: https://github.com/FlagOpen/RoboCOIN
  • 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

技术特性

  • 基于LeRobot格式扩展并完全兼容
  • 丰富的机器人状态和动作数据
  • 多视角视觉观测
  • 详细的运动学和动力学标注
  • 支持多种学习方法的丰富注释

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总
数据集介绍
main_image_url
构建方式
在机器人操作数据集构建领域,AgiBot-g1_tool_storage采用基于LeRobot框架的扩展格式进行系统化构建。该数据集通过AgiBot-g1双指夹爪机器人采集了67个完整操作片段,总计包含30600帧视觉数据,涵盖家庭环境下的工具收纳任务。数据以分块形式组织为Parquet文件,每个数据块包含1000个操作片段,并同步记录8个不同视角的RGB视频流,帧率统一设置为30fps,确保时序数据的一致性。
特点
该数据集在机器人操作数据领域展现出多维度的特征优势,其核心在于丰富的多模态标注体系。数据集提供精细化的子任务分割标注,包括抓取、放置等原子动作的语义划分,同时配备末端执行器的运动方向、速度和加速度分类信息。视觉观测方面涵盖从720p到1536p不同分辨率的八路摄像头数据,包括腕部视角和全局视角,配合41维关节状态数据和34维动作指令,构建了完整的机器人操作状态表征。仿真空间中的末端执行器6D位姿信息与夹爪开合尺度数据进一步增强了运动分析的深度。
使用方法
在机器人学习研究实践中,该数据集可通过LeRobot标准接口直接加载使用。研究者可按照数据块索引访问Parquet格式的状态-动作序列,同时通过视频路径模式调用对应视角的视觉数据。训练集包含0-66共67个操作片段,支持端到端的模仿学习与强化学习算法验证。数据集提供的丰富标注信息可用于细粒度动作分割、运动轨迹分析以及多视角视觉表征学习等任务,其兼容性设计确保能够无缝集成到现有机器人学习流程中。
背景与挑战
背景概述
机器人操作数据集作为推动具身智能发展的重要基石,近年来受到学术界与工业界的广泛关注。AgiBot-g1_tool_storage数据集由RoboCOIN团队于2025年11月发布,基于LeRobot框架构建,专注于家庭场景下的双手工具收纳任务。该数据集通过AgiBot-g1双手机器人采集了67个完整操作序列,涵盖抓取、放置等基础动作,其核心研究目标在于解决复杂环境下双手协调操作的策略学习问题。通过提供多视角视觉观测与精细的动作标注,该数据集为机器人操作策略的端到端学习奠定了重要基础。
当前挑战
在机器人操作领域,双手协调任务面临动作时序同步与空间避障的双重挑战。具体而言,该数据集需解决同时抓取鼠标与电源线的动态规划问题,涉及末端执行器轨迹优化与抓握力度控制等关键技术难点。数据构建过程中,多传感器数据同步与标注一致性构成主要障碍,八路摄像头数据的时空对齐要求精确的时间戳同步,而高维连续动作空间的标注需要开发专门的语义分割流程。此外,13.5GB大规模数据的存储与高效检索也对计算资源提出了较高要求。
常用场景
经典使用场景
在机器人操作学习领域,AgiBot-g1_tool_storage数据集为双指夹爪机械臂的精细化操作提供了标准化的训练资源。该数据集聚焦于家庭环境中的工具收纳任务,通过抓取、放置和拾取等原子动作的序列化记录,构建了从视觉感知到运动控制的完整学习框架。其多视角视频流与丰富的状态标注为模仿学习与强化学习算法提供了理想的实验平台,特别适用于研究复杂操作任务的动作分解与策略优化。
实际应用
在工业自动化与家庭服务机器人领域,该数据集支撑了工具分拣系统的技术迭代。基于其收录的标准化操作流程,研发人员能够训练机械臂实现精密器件的自动归类与存储,大幅提升物流分拣与智能仓储的工作效率。同时,数据集中的多视角视觉数据为开发鲁棒的物体识别与定位算法提供了关键支撑,推动服务机器人在动态环境中的实操能力提升。
衍生相关工作
依托该数据集衍生的经典研究包括基于LeRobot框架的层次化操作策略学习,其中RoboCOIN团队提出的多任务协同训练方法显著提升了机械臂的操作成功率。后续工作进一步探索了跨场景的动作迁移机制,通过解耦视觉特征与运动模式,发展了适用于未知环境的零样本操作能力。这些成果为开源机器人社区建立了可复现的基准测试体系,持续推动着操作智能的技术演进。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作