RoboCOIN

RoboCOIN是一个大规模、多机器人、双手操作的数据集，涵盖15个机器人平台、16个场景中的421个任务和180K个演示轨迹。

RoboCOIN is a large-scale, multi-robot, dual-arm manipulation dataset that encompasses 421 tasks across 16 scenarios, involving 15 robotic platforms and 180K demonstration trajectories.

原始信息汇总

CoRobot 1.0 数据集概述

基本信息

• 数据集名称：CoRobot 1.0
• 核心定位：一个开放的具身智能数据框架，用于端到端的数据收集、转换、处理、检索、预览、下载和训练。
• 核心原则：协作（Collaboration）、一致性（Coherence）、集体（Collective），旨在通过统一的数据基础设施提高多机器人数据集的标准化和重用效率。

核心模块与数据集

1. RoboCOIN（核心数据集）

• 定位：大规模、多机器人、双手操作数据集。
• 规模：
  • 涵盖 16 种机器人本体。
  • 包含 200,000+ 条演示轨迹。
  • 覆盖 10+ 个场景。
  • 包含 1,000+ 个任务。
  • 涉及 50+ 种技能。
  • 使用 500+ 个物体。
• 资源链接：
  • 主页：https://flagopen.github.io/RoboCOIN/
  • Hugging Face：https://huggingface.co/RoboCOIN
  • ModelScope：https://modelscope.cn/organization/RoboCOIN
• 状态：已开源。

2. RoboCOIN-DataManager（数据管理平台）

• 定位：RoboCOIN的可视化与管理平台，支持在线搜索、预览、筛选和下载。
• 在线地址：https://flagopen.github.io/RoboCOIN-DataManager/
• 核心功能：
  • 多维度筛选：按场景、机器人、末端执行器、动作、物体等筛选。
  • 即时预览：自动播放视频和悬停显示详细信息。
  • 智能搜索：关键词搜索和过滤器查找。
  • 购物车管理：批量选择、添加、移除数据集，支持选择持久化。
  • 一键下载：生成ModelScope/HuggingFace下载命令；导出Python脚本。
  • 选择导入/导出：以JSON格式保存和恢复筛选器，便于团队协作。
• 状态：已开源。

3. DataCollect（数据收集系统）

• 定位：基于LeRobot框架构建的多机器人数据收集系统。
• 组成部分：
  • RoboDriver：提供机器人驱动开发工具包，包含多协议数据摄取框架。
  • RoboDriver-Server：连接RoboDriver与RoboXstudio，转发和同步数据。
  • RoboXstudio：一体化的具身数据平台，用于任务分发、数据管理和标注。
• 核心特性：
  • 支持多协议数据流（ROS1/ROS2, Dora, sockets）。
  • 基于LeRobot的统一收集框架。
  • 多机器人、多传感器融合。
  • 完整的实时捕获、验证和提交流程。
  • 与平台侧的任务系统、标注系统和训练流程集成。
• 状态：已开源。

4. DataConvert（数据转换工具包）

• 定位：专用的具身数据格式转换工具包。
• 支持格式：支持RLDS、HDF5、LeRobotDataset、JSONL和LeRobot格式之间的双向转换。
• 主要流程：
  • 数据集接入：编写数据集yaml文件（任务、设备模型、场景、动作等），经验证后生成用于接入的info元数据。
  • 格式转换：编写转换配置，对齐位姿文件并检查帧数，然后运行官方转换以生成标准的LeRobot数据集（包括parquet、mp4和meta文件）。
• 状态：即将发布。

5. DataForge（数据处理工具包）

• 定位：用于具身数据过滤和分层标注的工具包，将原始数据精炼为高质量的CoRobot数据集。
• 主要功能：
  • 数据预处理：移除异常或不完整的片段；过滤静态帧、丢帧等问题。
  • 后处理与验证：修复轨迹抖动、维度不匹配和缺失字段；通过模拟回放验证一致性和可复现性。
  • 标注与集成：添加RoboCOIN特定的三级标签（场景、子任务、动作）并将其嵌入parquet和meta文件，生成最终的CoRobot格式数据。
• 状态：即将发布。

6. DataTrain（模型训练工具）

• 定位：统一的训练工具。
• 功能：为OpenPI、RDT、DP等具身模型提供快速集成和训练。
• 状态：即将发布。

引用

bibtex @misc{corobot2025, title = {CoRobot 1.0: An Open Embodied Data Infrastructure for Multi-Robot Collaboration}, author = {CoRobot Team}, year = {2025}, publisher = {FlagOpen}, howpublished = {url{https://github.com/FlagOpen/CoRobot}} }

许可

主仓库和子模块遵循各自目录中的许可证。商业用途或大规模部署请联系维护者；未来版本将公布统一的开源许可证。

搜集汇总

数据集介绍

构建方式

在机器人操作数据集领域，RoboCOIN的构建依托于一套系统化的多机器人数据采集与处理框架。该框架基于LeRobot平台，通过RoboDriver工具包整合多种通信协议（如ROS1/ROS2、Dora及套接字），实现了多机器人平台与多传感器数据的实时融合采集。原始数据经过DataForge工具包的严格处理，包括异常轨迹过滤、静态帧剔除、时间戳对齐等质量控制步骤，并在此基础上添加了场景、子任务与动作描述的三级结构化标注，最终转化为标准的LeRobotDataset格式，确保了数据的一致性与可用性。

特点

RoboCOIN数据集以其规模与多样性在机器人操作领域占据显著地位。它涵盖了16种机器人本体、超过20万条演示轨迹、10余个不同场景以及涵盖50多种技能的1000多项任务，涉及物体超过500个，构成了一个大规模的双臂操作数据集。其核心特点在于数据的高度结构化与可检索性，通过RoboCOIN-DataManager平台，用户能够依据场景、机器人、末端执行器、动作与物体等多维度进行智能筛选与即时预览，并支持批量下载与脚本导出，极大地提升了数据探索与使用的效率。

使用方法

为便利研究社区的使用，RoboCOIN数据集提供了多元化的访问与管理途径。用户可通过Hugging Face或ModelScope平台直接获取数据集，并利用配套的RoboCOIN-DataManager在线平台进行可视化检索、筛选与预览。该平台支持关键词搜索与过滤器定位，允许用户将选定的数据集加入购物车，并一键生成相应的下载命令或Python脚本。对于模型训练，数据集已转换为标准的LeRobotDataset格式（包含parquet、mp4与meta文件），便于直接集成到基于LeRobot的统一训练工具链中进行端到端的具身智能模型开发。

背景与挑战

背景概述

在机器人操作与具身智能领域，大规模、高质量的数据集是推动算法进步与模型泛化能力的关键。RoboCOIN数据集作为CoRobot 1.0框架的核心组成部分，由FlagOpen团队于2025年正式发布，旨在构建一个覆盖多机器人平台的双臂操作数据集。该数据集汇集了16种机器人本体、超过20万条演示轨迹、10余种场景以及1000多项任务，其核心研究问题聚焦于如何通过标准化的数据基础设施，提升多机器人数据集的复用效率与协作能力，从而为机器人操作技能的泛化学习与迁移提供坚实的数据基础。

当前挑战

RoboCOIN数据集致力于解决机器人操作任务中技能泛化与跨平台迁移的挑战，其核心问题在于如何从异构机器人演示中学习统一且可转移的操作策略。在构建过程中，团队面临多重技术难题：数据采集需整合多种通信协议与传感器流，确保多机器人系统的同步与融合；原始数据中存在帧丢失、抖动、维度不匹配等噪声，需通过自动化流程进行清洗与修复；此外，为支持层次化学习，必须为海量轨迹标注场景、子任务与运动描述等多级语义标签，这对标注的一致性与可扩展性提出了极高要求。

常用场景

经典使用场景

在机器人操作与具身智能领域，RoboCOIN数据集为多机器人双臂操作研究提供了丰富的实验基础。其经典使用场景集中于模拟与真实环境下的复杂任务执行，例如在多样化场景中完成物体抓取、装配与精细操控。研究者利用该数据集的大规模轨迹数据，能够训练端到端的强化学习或模仿学习模型，以提升机器人在非结构化环境中的自主决策与协同操作能力。

衍生相关工作

围绕RoboCOIN数据集，已衍生出一系列经典的机器人学习研究工作。例如，基于其大规模演示轨迹开发的模仿学习框架，实现了跨平台技能迁移；利用其多层次标注信息构建的层次化强化学习模型，提升了复杂任务分解与执行的效率。此外，该数据集还促进了如OpenPI、RDT等具身模型训练工具的集成与优化，为多机器人协作学习社区的算法创新提供了持续动力。

数据集最近研究

最新研究方向

在具身智能领域，机器人操作数据集正朝着大规模、多模态与标准化方向发展。RoboCOIN作为涵盖16种机器人平台、超过20万条轨迹的大规模双手操作数据集，其前沿研究聚焦于构建端到端的数据基础设施，以支持多机器人协同学习。当前热点围绕数据的高效采集、统一转换与智能管理展开，通过RoboCOIN-DataManager实现可视化检索与批量下载，结合DataForge工具进行数据过滤与层次化标注，显著提升了数据集的质量与复用效率。这一进展不仅推动了跨平台机器人技能迁移的研究，也为具身大模型的训练提供了坚实的数据基础，对促进机器人通用能力的发展具有深远意义。