RoCo Challenge Dataset

RoCo Challenge Dataset是由南洋理工大学等机构联合创建的高精度行星齿轮箱装配数据集，旨在推动工业机器人协作操纵研究。数据集包含仿真和现实世界两个版本，每个版本均提供300余条多模态演示数据，涵盖RGB图像、深度信息及机器人本体感知状态。数据通过Isaac Sim仿真环境和Galaxea R1 Lite双臂机器人平台采集，包含从零装配、部分状态恢复及错误修正三类任务场景。该数据集特别关注工业装配中的毫米级精度要求与协作特性，为开发长时序多任务学习算法提供了基准平台，可应用于智能制造、自主机器人等领域的算法验证与系统开发。RoCo Challenge Dataset is a high-precision planetary gearbox assembly dataset jointly developed by Nanyang Technological University and other institutions, aiming to advance research on industrial robot collaborative manipulation. The dataset includes two versions: simulation and real-world, each providing over 300 multimodal demonstration samples covering RGB images, depth data, and robot proprioceptive sensing states. Data was collected using the Isaac Sim simulation environment and the Galaxea R1 Lite dual-arm robotic platform, encompassing three task scenarios: assembly from scratch, partial state recovery, and error correction. This dataset specifically focuses on the millimeter-level precision requirements and collaborative characteristics in industrial assembly, serving as a benchmark platform for developing long-sequence multi-task learning algorithms, and can be applied to algorithm verification and system development in fields such as intelligent manufacturing and autonomous robotics.

搜集汇总

数据集介绍

构建方式

在具身人工智能向工业自动化转型的背景下，RoCo挑战数据集旨在为高精度行星齿轮箱装配任务提供基准。其构建依托于在NVIDIA Isaac Sim中自主研发的数据收集、训练与评估系统，并利用Galaxea R1 Lite双臂机器人进行真实世界部署。数据集生成涵盖两个阶段：仿真阶段通过定义细粒度的任务阶段（如从零装配、从部分状态恢复、错误检测与恢复）来应对长视野装配的复杂性，并提供了超过300条自动生成的、包含同步多模态观测（RGB、深度、本体感觉）与动作流的演示数据；真实世界阶段则通过高质量遥操作，在标准化硬件平台上收集了同等规模的物理演示数据，确保了仿真与实物评估的统一性。

使用方法

该数据集为评估和推进工业场景下的具身智能算法提供了标准化平台。研究者可利用提供的仿真环境与超过300条的演示数据，进行大规模策略训练与快速算法迭代，特别适用于训练端到端的视觉语言动作模型或模块化的感知-动作流水线。数据集支持对长视野、多任务学习框架的评估，并通过定义的三个阶段任务（完整装配、部分状态恢复、错误恢复）进行细粒度评分。对于真实世界验证，数据集配套的遥操作演示与标准化硬件平台（Galaxea R1 Lite）使得研究者能够直接测试模型的仿真到现实迁移能力，重点关注其在接触动力学、传感器噪声和实时部署约束下的鲁棒性。

背景与挑战

背景概述

具身人工智能（EAI）的快速发展正推动自主系统从孤立感知向集成连续行动的范式转变，这一变革对工业机器人操作领域具有深远意义。在此背景下，由南洋理工大学、新加坡科技研究局（A*STAR）等机构的研究团队于2026年AAAI会议上提出了RoCo挑战数据集，旨在为工业自动化中的机器人协同装配操作建立高保真基准。该数据集聚焦于高精度行星齿轮箱装配任务，通过仿真与真实世界双轨评估体系，系统考察机器人在长时程、多任务场景下的操作能力。其核心研究问题在于如何实现具备语义理解、容错恢复与精准操作能力的协同装配系统，为面向人本制造的未来工厂提供关键技术验证平台，吸引了全球60余支团队的广泛参与，显著推动了工业EAI领域的研究进程。

当前挑战

RoCo数据集所应对的核心领域挑战在于工业级高精度协同装配的复杂性，这具体体现为长时程任务中错误传播的控制、亚毫米级接触操作的精度要求、双臂协调的空间推理以及动态故障的自主恢复能力。在数据集构建过程中，研究者面临多重挑战：首先，需在仿真环境中精准建模齿轮啮合等接触动力学，并生成涵盖正常装配、局部状态恢复及错误修正的多样化演示数据；其次，在真实世界数据收集中，需克服传感器噪声、光照变化以及硬件平台差异带来的域偏移问题；此外，构建能够无缝衔接仿真与物理部署的统一评估框架，并确保多模态数据（RGB、深度、本体感知）的同步与校准，亦是保障基准有效性与可复现性的关键难点。

常用场景

经典使用场景

在具身人工智能与工业自动化交叉领域，RoCo挑战数据集为高精度、长时序的机器人协作装配任务提供了标准化的评估基准。该数据集最经典的使用场景是模拟和评估双臂机器人在行星齿轮箱装配任务中的表现，涵盖了从零开始装配、从部分状态恢复以及错误检测与恢复三种代表性情境。研究者利用其提供的多模态同步观测数据与动作序列，能够系统地训练和测试各类视觉语言动作模型与模块化感知-动作管线的性能，从而推动工业场景下机器人灵巧操作能力的发展。

解决学术问题

该数据集有效解决了工业机器人学中多个关键学术研究问题。首先，它针对长时序操作中的错误传播难题，通过定义细粒度的任务阶段和评分机制，为研究连贯的全局规划与子任务依赖关系提供了结构化框架。其次，数据集强调了接触密集型操作所需的亚毫米级精度挑战，促使学界探索超越纯视觉反馈的解决方案。再者，它通过引入双臂协同操作与从失败中恢复的课程数据，直接应对了协调操作中的空间推理难题与系统鲁棒性需求，为构建真正“以人为本”的制造系统奠定了实证基础。

实际应用

在实践层面，RoCo数据集直接服务于智能制造业的转型升级。其核心应用场景在于培训和评估能够执行高精度机械装配的协作机器人系统，例如在汽车、航空航天或精密仪器制造中装配行星齿轮箱等复杂部件。数据集提供的仿真环境与真实世界部署框架，使得算法能够先在数字孪生中快速迭代，再迁移至Galaxea R1 Lite等实体双臂机器人平台进行验证。这种从仿真到实物的闭环评估流程，显著降低了在真实产线上部署AI模型的风险与成本，为未来实现人机共融、灵活可重构的智能生产线提供了关键技术验证平台。

数据集最近研究

最新研究方向

在具身人工智能与工业自动化融合的背景下，RoCo挑战数据集正推动机器人协作装配领域的前沿研究。当前研究聚焦于弥合仿真与真实世界部署之间的显著性能鸿沟，探索端到端视觉语言动作模型在复杂长时程任务中的鲁棒性。研究热点集中于失败恢复课程学习、专用损失函数设计以及双模型协作框架，这些创新显著提升了机器人对装配过程中语义错误的理解与自主修正能力。该数据集通过提供高精度行星齿轮箱装配的标准化多模态数据，为工业场景下的人机协作智能系统建立了可复现的评估基准，对实现下一代柔性智能制造具有关键意义。

相关研究论文

• RoCo Challenge at AAAI 2026: Benchmarking Robotic Collaborative Manipulation for Assembly Towards Industrial Automation

  南洋理工大学; 北京邮电大学; 卡内基梅隆大学; 新加坡科技研究局 · 2026年