RoboCOIN

Name: RoboCOIN
Creator: 北京人工智能研究院
Published: 2025-11-22T01:39:22+08:00

arXiv2025-11-22 更新2025-11-25 收录

机器人操作

双臂协调

数据链接：

https://FlagOpen.github.io/RoboCOIN/数据链接链接失效反馈

官方服务：

资源简介：

RoboCOIN是由北京人工智能研究院主导构建的大规模多实体双臂操作数据集，涵盖15种异构机器人平台与16类真实场景。该数据集包含超过18万条高质量演示轨迹，系统性地组织为421项任务，数据来源通过人类遥操作采集并配备多视角视觉观测与语言标注。数据集通过分层能力金字塔架构实现轨迹级全局概念、段级子任务与帧级运动学的多粒度标注，其构建过程采用CoRobot框架实现标准化质量评估与自动化标注。该数据集主要应用于机器人双臂协调操作研究领域，旨在解决异构硬件平台间的数据兼容性问题，推动跨实体泛化学习在智能制造、家庭服务等复杂场景中的应用。

RoboCOIN is a large-scale multi-entity dual-arm manipulation dataset developed under the leadership of the Beijing Institute of Artificial Intelligence, covering 15 heterogeneous robotic platforms and 16 types of real-world scenarios. This dataset contains over 180,000 high-quality demonstration trajectories, systematically organized into 421 tasks. The data was collected via human teleoperation, and is equipped with multi-view visual observations and language annotations. The dataset implements multi-granularity annotations including global concepts at the trajectory level, subtasks at the segment level, and kinematics at the frame level through a hierarchical capability pyramid architecture. During its construction, the CoRobot framework was adopted to enable standardized quality assessment and automated annotation. This dataset is primarily used in the research field of robotic dual-arm coordinated manipulation, aiming to solve the problem of data compatibility across heterogeneous hardware platforms, and promote the application of cross-entity generalization learning in complex scenarios such as intelligent manufacturing and home service.

提供机构：

北京人工智能研究院

创建时间：

2025-11-22

原始信息汇总

RoboCOIN数据集概述

数据集基本信息

数据集名称: RoboCOIN
核心特点: 开源双手机器人数据集，专注于集成操作
数据规模: 超过180,000个演示轨迹
机器人平台: 15个不同的机器人平台
任务数量: 421个任务
场景数量: 16个不同场景

机器人平台分类

半人形机器人

Tianqing A2
Tianqing A2-D
LEJU Kuavo 4 LB
AIRBOT MMK2
AI2 Alphabot 1s
AI2 Alphabot 2
Galbot G1
Realman RMC-AIDA-L
Realman RS-01
Realman RS-02

人形机器人

LEJU Kuavo 4 Pro
Unitree G1edu

双臂机器人

Agilex Split Aloha
Agilex Cobot Magic
Galaxea R1 Lite

场景覆盖范围

住宅场景

微波炉加热
清洁马桶
整理床铺
折叠衣物
准备食物

商业场景

商品售卖
制作冰淇淋

工作场景

流水线作业
垃圾分类

技术特性

层次化能力金字塔

轨迹级标注: 场景描述
段级标注: 子任务描述
帧级标注: 运动学参数

任务分类体系

基于运动协调性和物体可变性的层次化网格组织

CoRobot框架

支持15款机器人平台的数据采集和遥操作
包含机器人轨迹标记语言(RTML)
提供质量评估、自动标注生成和统一多平台管理

数据采集方式

采集方式: 人工遥操作
标注类型: 层级化标注
灵巧操作: 支持

开源信息

开源时间: 2025年11月
官方仓库: https://github.com/FlagOpen/RoboCOIN
安装方式: pip install r

合作机构

清华大学、北京大学、电子科技大学、北京邮电大学、中国人民大学、华中科技大学、西南交通大学、斯坦福大学、加州大学伯克利分校、蚂蚁数科、银河通用、星海图、乐聚机器人、松灵机器人、软通天擎、智平方机器人、睿尔曼智能、加速进化、灵初智能、DORA社区

搜集汇总

数据集介绍

构建方式

在双手机器人操作领域，RoboCOIN数据集通过整合15种异构机器人平台构建而成，采用人类遥操作技术采集超过18万条演示数据。数据采集过程配备了多视角视觉传感器系统，涵盖头部、腕部及第三方视角的RGB与深度信息，同时记录机器人运动学状态与工作空间几何参数。所有数据流通过时间戳对齐实现严格同步，并采用标准化度量体系确保跨平台数据的一致性。

特点

该数据集的核心特征体现在多模态层次化标注体系，构建了包含轨迹级概念、段级子任务与帧级运动学的三层能力金字塔。轨迹级标注描述场景配置与物体属性，段级标注将任务分解为可执行子步骤，帧级标注则提供密集的运动参数与夹持器状态。数据集覆盖16类真实场景，按动作协调度与物体柔韧性构建二维任务分类体系，包含421个系统化组织的操作任务。

使用方法

研究人员可通过CoRobot框架实现数据集的便捷调用，该框架提供统一的多实体控制接口与原子化存储方案。数据集支持分层能力金字塔的端到端学习，轨迹级标注可用于全局任务规划，段级标注辅助时序推理与错误恢复，帧级标注则赋能实时反馈控制。基于RTML的质量评估工具可自动验证轨迹的物理合理性，半自动标注工具链则支持多粒度语义标签的生成与校验。

背景与挑战

背景概述

RoboCOIN数据集由北京智源人工智能研究院于2025年主导构建，汇聚了来自15个机器人平台的18万余次双手机器人操作演示。该数据集针对双手机器人操作领域的数据稀缺问题，通过整合异构机器人平台的数据采集，系统性地构建了涵盖421个任务、16种场景的多样化操作示范。其核心创新在于提出了分层能力金字塔标注体系，通过轨迹级概念、分段级子任务和帧级运动学的多级标注，为机器人学习提供了从高层概念理解到底层控制的全方位支持，显著推动了多体现双手机器人操作研究的发展进程。

当前挑战

在双手机器人操作领域，RoboCOIN致力于解决异构机器人平台间的协调控制难题，其构建过程面临多重挑战。数据采集阶段需克服15种不同机器人平台的硬件异构性，包括自由度差异、传感器配置不统一等问题。数据处理过程中，人类遥操作演示的质量一致性保障成为关键难点，为此专门开发了机器人轨迹标记语言进行轨迹质量评估。多体现数据管理需要建立统一的坐标系系统和时间同步机制，而分层标注体系的实现则依赖于视觉语言模型与规则方法的深度融合，这些技术挑战共同构成了数据集构建的核心难点。

常用场景

经典使用场景

在机器人操作学习领域，RoboCOIN数据集作为多具身双臂操作的标准基准，广泛应用于模仿学习与强化学习算法的训练与评估。其经典使用场景聚焦于复杂双臂协调任务的策略学习，涵盖从基础物体抓取到高级协作操作的完整技能谱系。通过整合15种异构机器人平台采集的18万次演示数据，该数据集为模型提供了跨越形态差异的泛化能力，支持在住宅、商业及工业等16类真实环境中进行端到端的行为克隆与策略优化。

衍生相关工作

基于RoboCOIN衍生的CoRobot框架已成为多具身机器人学习的标准基础设施，启发了RTML轨迹标记语言的广泛应用。其分层标注体系被OpenVLA等视觉语言动作模型采纳为核心训练范式，推动了GR00T-N1.5等基础模型在人类机器人上的技能迁移。该数据集更催生了面向动态物体的双臂操作新基准，促使RoboBrain-X0等模型实现了零样本跨平台泛化能力的突破。

数据集最近研究