RoboCOIN Dataset

RoboCOIN数据集是一个官方配套工具包，基于LeRobot仓库构建，完全兼容LeRobot的数据格式，同时支持丰富的元数据，包括子任务、场景描述和运动描述。RoboCOIN提供了从数据集发现、下载到标准化加载的端到端流程，并支持跨多个机器人平台的模型部署。

The RoboCOIN dataset is an official supporting toolkit built upon the LeRobot repository, fully compatible with LeRobot's data formats, and supports rich metadata including subtasks, scene descriptions and motion descriptions. RoboCOIN provides an end-to-end workflow from dataset discovery, download to standardized loading, and supports model deployment across multiple robotic platforms.

原始信息汇总

RoboCOIN数据集概述

数据集基本信息

• 数据集名称：RoboCOIN
• 官方工具包：本项目是[RoboCOIN数据集]的官方配套工具包。
• 技术报告：可在ArXiv获取。
• 项目网站：https://flagopen.github.io/RoboCOIN/
• 数据管理页面：https://flagopen.github.io/RoboCOIN-DataManager/
• 数据下载量：截至2025年12月9日，在HuggingFace和ModelScope上的总下载量已达300,000次。

核心特性

1. 数据集管理：提供数据集的检索、下载和基于DataLoader的加载，完全支持子任务、场景和运动描述等丰富的元数据注释。
2. 统一的机器人控制接口：支持集成多种机器人平台，包括基于SDK的控制（如Piper、Realman）和通用的基于ROS/MoveIt的控制。
3. 标准化单位转换：内置跨平台单位处理工具（例如度与弧度转换）。
4. 可视化工具：提供2D/3D轨迹绘图和同步相机图像渲染。
5. 策略推理与部署：为LeRobot策略和OpenPI策略提供开箱即用的推理流程，支持从训练好的模型直接控制机器人。

数据集格式与兼容性

• 基础框架：基于LeRobot仓库构建。
• 数据格式：完全兼容LeRobot的数据格式。
• 元数据增强：在LeRobot格式基础上，增加了对子任务、场景描述和运动描述等丰富元数据的支持。
• 版本兼容性：
  • 当前支持LeRobot v2.1数据格式。
  • 对v3.0数据格式的支持即将推出。
• 代码库：当前基于LeRobot v0.3.4，未来版本将演变为完全兼容的LeRobot扩展插件。

数据特征说明

observation.state / action

这些特征代表从机器人手臂（从端/主端）收集的数据。在没有机器人动作数据的情况下，动作由observation.state序列推导得出。标准化字段如下：

特征	单位	描述
{dir}_arm_joint_{num}_rad	rad	从收集数据转换而来；代表手臂关节角度（从端/主端）。
{dir}_hand_joint_{num}_rad	rad	从收集数据转换而来；代表手部关节角度。
{dir}_gripper_open_scale	-	取值范围[0, 1]；0表示完全闭合，1表示完全打开；从收集数据转换而来。
{dir}_eef_pos_{axis}	m	从机器人SDK获取的末端执行器位置。
{dir}_eef_rot_{axis}	rad	从机器人SDK获取的末端执行器旋转（欧拉角）。

eef_sim_pose_state / eef_sim_pose_action

这些特征代表模拟的末端执行器数据。由于不同机器人SDK在observation.state / action数据中的坐标系定义不一致，我们采用基于模拟的方法来获取每个机器人在统一坐标系（x轴向前 / y轴向左 / z轴向上，原点位于机器人基座或其双脚中心）中表达的末端执行器位姿。这些模拟的末端执行器位姿由特征eef_sim_pose_state / eef_sim_pose_action表示。

注意：{dir}是一个占位符，代表left或right。

安装与使用

安装

bash pip install robocoin

数据集发现与下载

• 浏览可用数据集：https://flagopen.github.io/RoboCOIN-DataManager/

• 下载命令示例： bash

  从HuggingFace下载

  robocoin-download --hub huggingface --ds_lists Cobot_Magic_move_the_bread R1_Lite_open_and_close_microwave_oven

  从ModelScope下载

  robocoin-download --hub modelscope --ds_lists Cobot_Magic_move_the_bread R1_Lite_open_and_close_microwave_oven

• 默认下载路径：~/.cache/huggingface/lerobot/，该路径将作为LerobotDataset的默认目录。

加载数据集

python import torch from lerobot.datasets.lerobot_dataset import LeRobotDataset

dataset = LeRobotDataset("RoboCOIN/R1_Lite_open_and_close_microwave_oven") dataloader = torch.utils.data.DataLoader( dataset, num_workers=8, batch_size=32, )

搜集汇总

数据集介绍

构建方式

在机器人操作与模仿学习领域，RoboCOIN数据集通过整合多机器人平台的真实操作轨迹构建而成。其构建过程涉及从Piper、Realman等多样化的机器人硬件中采集原始关节角度与末端执行器位姿数据，并利用仿真手段将这些数据统一至标准坐标系下，以解决不同机器人SDK在坐标系定义上的不一致性问题。数据集还精心标注了子任务、场景描述与运动描述等丰富的元数据，为高级任务理解提供了结构化信息。

使用方法

研究人员可通过RoboCOIN提供的命令行工具或Python接口便捷地发现、下载与加载数据集。利用其与PyTorch DataLoader的兼容性，可以高效地进行批量数据读取以训练模仿学习策略。数据集配套的机器人控制模块支持将训练好的策略直接部署到多种真实机器人平台上进行推理与验证，实现了从数据收集到模型部署的端到端研究闭环。可视化工具则能辅助进行轨迹分析与模型行为调试。

背景与挑战

背景概述

RoboCOIN数据集由FlagOpen团队于2025年正式发布，其技术报告同期公开于arXiv平台。该数据集作为机器人操作与模仿学习领域的重要资源，旨在解决多机器人平台下示教数据的标准化与规模化收集难题。数据集构建于LeRobot框架之上，不仅兼容其数据格式，还引入了丰富的元数据标注，包括子任务、场景描述与运动描述，从而支持更细粒度的任务分解与策略学习。核心研究问题聚焦于如何跨越不同机器人硬件与软件接口的异构性，实现示教轨迹的统一表征与高效复用，以推动通用机器人操作策略的发展。

当前挑战

RoboCOIN数据集致力于应对机器人模仿学习中示教数据稀缺与异构的核心挑战。在领域层面，其需解决从多样化、非结构化的真实机器人操作中提取可泛化策略表示的问题，这涉及跨平台的动作空间对齐、状态观测的语义一致性以及长时序任务的分解与组合。在构建过程中，挑战主要体现为多机器人系统的数据同步与校准、不同厂商SDK的坐标系统一与单位转换，以及大规模高质量示教轨迹的采集与标注。此外，确保数据集在LeRobot生态中的持续兼容性与扩展性，亦是其面临的重要工程挑战。

常用场景

经典使用场景

在机器人模仿学习领域，RoboCOIN数据集为研究者提供了一个标准化的多模态数据平台，其经典使用场景在于训练端到端的机器人策略模型。数据集整合了来自不同机器人平台（如Piper、Realman）的真实操作轨迹，包含关节状态、末端执行器位姿、相机图像以及丰富的元数据（如子任务、场景和动作描述）。研究人员利用其标准化的DataLoader接口，能够高效地加载和批处理这些异构数据，进而训练能够理解复杂任务指令并生成精确控制指令的神经网络模型，例如基于视觉语言模型的机器人操作策略。

解决学术问题

该数据集有效解决了机器人学中多平台数据异构性与策略泛化性不足的核心学术问题。传统方法常受限于单一机器人或仿真环境采集的数据，导致训练的模型难以迁移至其他硬件平台。RoboCOIN通过提供统一坐标系的模拟末端执行器位姿（eef_sim_pose）和内置的单位转换工具，实现了跨平台数据的对齐与标准化。这为研究跨实体机器人（Cross-Embodiment）的策略学习、少样本迁移以及基于真实世界示教数据的模仿学习提供了关键的数据基础，显著推动了机器人通用智能体的发展。

实际应用

在实际应用层面，RoboCOIN数据集及其配套工具链直接服务于机器人技能的快速部署与评估。工业和服务机器人开发者可以利用其预置的推理管道（支持LeRobot Policy和OpenPI Policy），将训练好的模型直接部署到多种实体机器人上，执行如开关微波炉、搬运物品等日常操作任务。其统一的机器人控制接口支持通过SDK或ROS进行控制，结合轨迹可视化与同步相机渲染工具，极大简化了从算法验证到实际机器人测试的流程，加速了机器人解决方案的产品化落地。

数据集最近研究

最新研究方向

在机器人学习领域，大规模、高质量的数据集是推动具身智能发展的关键基石。RoboCOIN数据集作为近期备受关注的多机器人操作数据集，其前沿研究聚焦于跨平台策略泛化与端到端模仿学习的深度融合。该数据集不仅提供了丰富的元数据标注，如子任务、场景与运动描述，更通过统一坐标系的末端执行器仿真姿态数据，有效解决了不同机器人SDK坐标系异构的难题，为构建通用机器人策略模型奠定了数据基础。随着其在HuggingFace和ModelScope平台下载量突破30万次，相关研究正积极探索基于LeRobot与OpenPI策略的实时推理部署，以及结合层级任务描述的复杂操作序列生成，这些进展显著提升了机器人在开放环境中的自主操作能力与适应性，对推动家庭服务、工业自动化等场景的实用化落地具有深远意义。