RoboCOIN

RoboCOIN是由北京人工智能研究院主导构建的大规模多实体双臂操作数据集，涵盖15种异构机器人平台与16类真实场景。该数据集包含超过18万条高质量演示轨迹，系统性地组织为421项任务，数据来源通过人类遥操作采集并配备多视角视觉观测与语言标注。数据集通过分层能力金字塔架构实现轨迹级全局概念、段级子任务与帧级运动学的多粒度标注，其构建过程采用CoRobot框架实现标准化质量评估与自动化标注。该数据集主要应用于机器人双臂协调操作研究领域，旨在解决异构硬件平台间的数据兼容性问题，推动跨实体泛化学习在智能制造、家庭服务等复杂场景中的应用。

RoboCOIN is a large-scale multi-entity dual-arm manipulation dataset developed under the leadership of the Beijing Institute of Artificial Intelligence, covering 15 heterogeneous robotic platforms and 16 types of real-world scenarios. This dataset contains over 180,000 high-quality demonstration trajectories, systematically organized into 421 tasks. The data was collected via human teleoperation, and is equipped with multi-view visual observations and language annotations. The dataset implements multi-granularity annotations including global concepts at the trajectory level, subtasks at the segment level, and kinematics at the frame level through a hierarchical capability pyramid architecture. During its construction, the CoRobot framework was adopted to enable standardized quality assessment and automated annotation. This dataset is primarily used in the research field of robotic dual-arm coordinated manipulation, aiming to solve the problem of data compatibility across heterogeneous hardware platforms, and promote the application of cross-entity generalization learning in complex scenarios such as intelligent manufacturing and home service.

原始信息汇总

RoboCOIN数据集概述

数据集基本信息

• 数据集名称: RoboCOIN
• 核心特点: 开源双手机器人数据集，专注于集成操作
• 数据规模: 超过180,000个演示轨迹
• 机器人平台: 15个不同的机器人平台
• 任务数量: 421个任务
• 场景数量: 16个不同场景

机器人平台分类

半人形机器人

• Tianqing A2
• Tianqing A2-D
• LEJU Kuavo 4 LB
• AIRBOT MMK2
• AI2 Alphabot 1s
• AI2 Alphabot 2
• Galbot G1
• Realman RMC-AIDA-L
• Realman RS-01
• Realman RS-02

人形机器人

• LEJU Kuavo 4 Pro
• Unitree G1edu

双臂机器人

• Agilex Split Aloha
• Agilex Cobot Magic
• Galaxea R1 Lite

场景覆盖范围

住宅场景

• 微波炉加热
• 清洁马桶
• 整理床铺
• 折叠衣物
• 准备食物

商业场景

• 商品售卖
• 制作冰淇淋

工作场景

• 流水线作业
• 垃圾分类

技术特性

层次化能力金字塔

• 轨迹级标注: 场景描述
• 段级标注: 子任务描述
• 帧级标注: 运动学参数

任务分类体系

基于运动协调性和物体可变性的层次化网格组织

CoRobot框架

• 支持15款机器人平台的数据采集和遥操作
• 包含机器人轨迹标记语言(RTML)
• 提供质量评估、自动标注生成和统一多平台管理

数据采集方式

• 采集方式: 人工遥操作
• 标注类型: 层级化标注
• 灵巧操作: 支持

开源信息

• 开源时间: 2025年11月
• 官方仓库: https://github.com/FlagOpen/RoboCOIN
• 安装方式: pip install r

合作机构

清华大学、北京大学、电子科技大学、北京邮电大学、中国人民大学、华中科技大学、西南交通大学、斯坦福大学、加州大学伯克利分校、蚂蚁数科、银河通用、星海图、乐聚机器人、松灵机器人、软通天擎、智平方机器人、睿尔曼智能、加速进化、灵初智能、DORA社区

搜集汇总

数据集介绍

构建方式

在双手机器人操作领域，RoboCOIN数据集通过整合15种异构机器人平台构建而成，采用人类遥操作技术采集超过18万条演示数据。数据采集过程配备了多视角视觉传感器系统，涵盖头部、腕部及第三方视角的RGB与深度信息，同时记录机器人运动学状态与工作空间几何参数。所有数据流通过时间戳对齐实现严格同步，并采用标准化度量体系确保跨平台数据的一致性。

特点

该数据集的核心特征体现在多模态层次化标注体系，构建了包含轨迹级概念、段级子任务与帧级运动学的三层能力金字塔。轨迹级标注描述场景配置与物体属性，段级标注将任务分解为可执行子步骤，帧级标注则提供密集的运动参数与夹持器状态。数据集覆盖16类真实场景，按动作协调度与物体柔韧性构建二维任务分类体系，包含421个系统化组织的操作任务。

使用方法

研究人员可通过CoRobot框架实现数据集的便捷调用，该框架提供统一的多实体控制接口与原子化存储方案。数据集支持分层能力金字塔的端到端学习，轨迹级标注可用于全局任务规划，段级标注辅助时序推理与错误恢复，帧级标注则赋能实时反馈控制。基于RTML的质量评估工具可自动验证轨迹的物理合理性，半自动标注工具链则支持多粒度语义标签的生成与校验。

背景与挑战

背景概述

RoboCOIN数据集由北京智源人工智能研究院于2025年主导构建，汇聚了来自15个机器人平台的18万余次双手机器人操作演示。该数据集针对双手机器人操作领域的数据稀缺问题，通过整合异构机器人平台的数据采集，系统性地构建了涵盖421个任务、16种场景的多样化操作示范。其核心创新在于提出了分层能力金字塔标注体系，通过轨迹级概念、分段级子任务和帧级运动学的多级标注，为机器人学习提供了从高层概念理解到底层控制的全方位支持，显著推动了多体现双手机器人操作研究的发展进程。

当前挑战

在双手机器人操作领域，RoboCOIN致力于解决异构机器人平台间的协调控制难题，其构建过程面临多重挑战。数据采集阶段需克服15种不同机器人平台的硬件异构性，包括自由度差异、传感器配置不统一等问题。数据处理过程中，人类遥操作演示的质量一致性保障成为关键难点，为此专门开发了机器人轨迹标记语言进行轨迹质量评估。多体现数据管理需要建立统一的坐标系系统和时间同步机制，而分层标注体系的实现则依赖于视觉语言模型与规则方法的深度融合，这些技术挑战共同构成了数据集构建的核心难点。

常用场景

经典使用场景

在机器人操作学习领域，RoboCOIN数据集作为多具身双臂操作的标准基准，广泛应用于模仿学习与强化学习算法的训练与评估。其经典使用场景聚焦于复杂双臂协调任务的策略学习，涵盖从基础物体抓取到高级协作操作的完整技能谱系。通过整合15种异构机器人平台采集的18万次演示数据，该数据集为模型提供了跨越形态差异的泛化能力，支持在住宅、商业及工业等16类真实环境中进行端到端的行为克隆与策略优化。

衍生相关工作

基于RoboCOIN衍生的CoRobot框架已成为多具身机器人学习的标准基础设施，启发了RTML轨迹标记语言的广泛应用。其分层标注体系被OpenVLA等视觉语言动作模型采纳为核心训练范式，推动了GR00T-N1.5等基础模型在人类机器人上的技能迁移。该数据集更催生了面向动态物体的双臂操作新基准，促使RoboBrain-X0等模型实现了零样本跨平台泛化能力的突破。

数据集最近研究

最新研究方向

在机器人灵巧操作领域，RoboCOIN数据集的前沿研究聚焦于多形态双臂协同操作的可扩展性挑战。该数据集通过整合15种异构机器人平台与超过18万次演示，构建了涵盖轨迹级全局规划、段级任务分解与帧级运动控制的分层能力金字塔标注体系。其创新性体现在引入机器人轨迹标记语言（RTML）实现跨平台数据质量标准化评估，并通过分层标注集成方法显著提升了视觉语言动作模型在复杂操作任务中的泛化能力。这一研究为突破机器人硬件异构性导致的算法迁移瓶颈提供了关键基础设施，推动了家庭服务与工业自动化等场景中通用双臂操作系统的实用化进程。

相关研究论文

• RoboCOIN: An Open-Sourced Bimanual Robotic Data COllection for INtegrated Manipulation

  北京人工智能研究院 · 2025年