five

Cobot_Magic_take_out_the_bread

收藏
Hugging Face2025-11-27 更新2025-11-28 收录
下载链接:
https://huggingface.co/datasets/RoboCOIN/Cobot_Magic_take_out_the_bread
下载链接
链接失效反馈
官方服务:
资源简介:
Cobot_Magic_take_out_the_bread是一个用于机器人任务的中文数据集,特别是在家庭场景中。该数据集基于LeRobot的扩展格式,并与LeRobot完全兼容。使用的机器人是'Cobot_Magic',代码库版本为'v2.1',末端执行器类型为'two_finger_gripper'。数据集包括'抓取'、'放置'和'拾取'等原子动作。它总共有588个剧集,333147帧,6个任务,1764个视频,以及1个大小为1000的数据块。数据集还包括丰富的子任务、场景、末端执行器和夹具的注释。数据集根据Apache-2.0许可证发布。
创建时间:
2025-11-18
原始信息汇总

Cobot_Magic_take_out_the_bread 数据集概述

基本信息

  • 数据集名称: Cobot_Magic_take_out_the_bread
  • 许可证: Apache-2.0
  • 支持语言: 英语、中文
  • 任务类别: 机器人学
  • 规模分类: 100K-1M
  • 代码库版本: v2.1
  • 机器人类型: Cobot_Magic
  • 末端执行器类型: two_finger_gripper

数据集统计

指标 数值
总情节数 588
总帧数 333,147
总任务数 6
总视频数 1,764
总块数 1
块大小 1,000
帧率 30 FPS

场景与动作

场景类型

  • home

原子动作

  • grasp
  • place
  • pick

任务描述

主要任务

  • 从蓝色咖啡桌上的面包机取出烤面包放在盘子上
  • 从浅色咖啡桌布上的面包机取出烤面包放在盘子上
  • 从绿色咖啡桌布上的面包机取出烤面包放在盘子上
  • 从灰色咖啡桌上的面包机取出烤面包放在盘子上
  • 从白色格子桌上的面包机取出烤面包放在盘子上
  • 从白色桌上的面包机取出烤面包放在盘子上

子任务

  1. null
  2. 使用左臂将一片面包放入空盘子
  3. 使用左臂取出一片面包
  4. 使用右臂将一片面包放入盘子
  5. 使用右臂取出一片面包

数据特征

视觉观测

  • observation.images.cam_front_rgb: 视频,720×1280×3,30 FPS,AV1编码
  • observation.images.cam_left_wrist_rgb: 视频,720×1280×3,30 FPS,AV1编码
  • observation.images.cam_right_wrist_rgb: 视频,720×1280×3,30 FPS,AV1编码

状态与动作

  • observation.state: float32,14维关节状态
  • action: float32,14维动作命令

注释信息

  • 子任务注释: 细粒度子任务分割和标注
  • 场景注释: 语义场景分类和描述

运动特征

  • 末端执行器仿真位姿: 6D位姿信息(位置和方向)
  • 末端执行器方向: 运动方向分类
  • 末端执行器速度: 速度大小分类
  • 末端执行器加速度: 加速度大小分类

夹爪特征

  • 夹爪开合尺度: 连续夹爪开合测量
  • 夹爪模式: 开/关状态标注
  • 夹爪活动: 活动状态分类(活动/非活动)

数据组织

文件结构

  • 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据分割

  • 训练集: 情节0-587

相关链接

  • 主页: https://flagopen.github.io/RoboCOIN/
  • 论文: https://arxiv.org/abs/2511.17441
  • 代码库: https://github.com/FlagOpen/RoboCOIN
  • 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

数据集标签

  • RoboCOIN
  • LeRobot

贡献者

  • RoboCOIN团队 (https://flagopen.github.io/RoboCOIN/)

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总
数据集介绍
main_image_url
构建方式
在机器人操作研究领域,Cobot_Magic_take_out_the_bread数据集通过系统化采集双手机器人执行面包取放任务的交互数据构建而成。该数据集采用LeRobot扩展格式,包含588个完整操作序列,总计333,147帧视觉与运动数据,通过三路高清摄像头以30帧率同步记录前视与双腕视角。数据以分块方式组织为Parquet文件,每个块容纳1000个操作片段,并集成多模态标注体系,涵盖末端执行器运动轨迹、夹爪状态及任务语义分层信息。
特点
该数据集在家庭场景机器人操作任务中展现出显著的多模态特性,其核心优势在于融合了三维视觉观测与精细动作标注。数据集提供前视、左腕、右腕三路720p分辨率视频流,同步记录14维关节状态与动作空间,并创新性地引入末端执行器6D位姿、运动方向分类及夹爪开合尺度等物理量标注。特别值得关注的是其细粒度任务分解能力,将面包取放操作划分为5类原子动作,并配备完整的运动学参数标注,为模仿学习与强化学习算法提供丰富监督信号。
使用方法
研究者可通过LeRobot兼容接口直接加载该数据集进行机器人操作策略开发。数据按标准目录结构组织,用户可通过指定分块索引与片段编号访问Parquet格式的状态-动作序列及MP4格式视频流。训练时建议利用其多层次标注体系:基于子任务标注进行分层策略学习,结合末端执行器位姿数据优化运动规划,利用夹爪活动状态改进抓取策略。数据集完全支持端到端视觉运动策略训练,同时其丰富的物理标注为动力学建模与仿真转移研究提供坚实基础。
背景与挑战
背景概述
在协作机器人技术迅猛发展的背景下,Cobot_Magic_take_out_the_bread数据集由RoboCOIN团队于2025年构建,旨在推动双臂机器人操作任务的深入研究。该数据集聚焦于家庭环境中的物体抓取与放置任务,通过588个完整交互序列和33万余帧多视角视觉数据,系统记录了机器人在多样化场景下的操作轨迹与状态信息。其核心研究问题在于解决双臂协调控制中的感知-动作映射难题,为机器人学习复杂操作策略提供了标准化基准,显著促进了仿人操作智能的发展。
当前挑战
该数据集致力于应对双臂机器人操作中的多模态感知融合与精细动作规划挑战,具体表现为对抓取力度控制、空间避障及动态环境适应的建模需求。在构建过程中,面临场景多样性不足与标注一致性的双重压力:家庭环境的光照变化与物体摆放随机性增加了数据采集复杂度,而高精度末端执行器轨迹标注需解决多传感器时序同步与噪声滤除问题。此外,双臂协同动作的语义分割要求对复合任务进行细粒度解构,这对标注规范与质量控制提出了极高要求。
常用场景
经典使用场景
在家庭服务机器人研究领域,Cobot_Magic_take_out_the_bread数据集通过588个完整操作序列和33万帧多视角视觉数据,为双臂协作机器人的精细操作任务提供了标准化评估基准。该数据集聚焦于从烤面包机中取出面包并放置于餐盘的核心场景,通过结构化标注的抓取、拾取、放置等原子动作序列,成为验证模仿学习与强化学习算法在真实家居环境中泛化能力的重要平台。
实际应用
在智能家居服务场景中,该数据集支撑的算法可直接应用于自动化厨房助手系统。通过模拟真实家庭环境下面包取放任务的物理交互过程,为开发具备精细操作能力的服务机器人提供了技术验证基础。其多模态数据特性尤其适用于构建适应不同桌面材质与空间布局的鲁棒性控制系统,推动家庭服务机器人从实验室走向实际应用。
衍生相关工作
基于该数据集衍生的研究已催生多项创新成果,包括基于LeRobot框架的双臂协调控制算法改进,以及结合多视角视觉的端到端操作策略学习模型。这些工作通过利用数据集提供的精细动作标注与物理交互数据,显著提升了机器人操作任务的执行效率与成功率,为后续基于大语言模型的机器人任务规划研究奠定了数据基础。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作