RoboTwin

RoboTwin数据集是一个基于生成数字双胞胎框架的双臂机器人基准数据集，由香港大学、上海人工智能实验室和敏捷机器人技术公司等机构创建。该数据集利用3D生成基础模型从单个2D RGB图像中创建多样化的对象3D模型，并为每个对象类添加空间注释，实现任务分解和代码生成。数据集结合了模拟的专家数据和真实世界的远程操作数据，旨在为双臂操作任务提供全面的政策评估，并推动双臂机器人操作系统的研发。

The RoboTwin dataset is a dual-arm robotic benchmark dataset based on the generative digital twin framework, created by institutions including The University of Hong Kong, Shanghai AI Laboratory, Agile Robots Technology Co., Ltd., and others. This dataset leverages 3D generative foundation models to generate diverse 3D object models from a single 2D RGB image, and adds spatial annotations for each object category, enabling task decomposition and code generation. The dataset combines simulated expert data and real-world teleoperation data, aiming to provide comprehensive policy evaluation for dual-arm manipulation tasks and advance the research and development of dual-arm robotic operating systems.

搜集汇总

数据集介绍

构建方式

RoboTwin数据集通过创新的生成式数字孪生框架构建，融合了3D生成基础模型与大语言模型技术。研究团队采用单张2D图像输入，利用Rodin平台进行三维重建与纹理生成，自动创建具有物理属性的多样化物体模型。通过半自动化空间标注系统标记功能点、接触点及操作轴向，结合特征点匹配技术实现同类物体的标注迁移。基于空间约束感知的代码生成框架，将复杂任务分解为子任务，通过大语言模型解析空间关系并生成可执行的机器人运动轨迹代码。

特点

该数据集的核心特点在于其虚实融合的双臂协同基准体系，包含15类复杂操作任务场景。数据集提供高保真的仿真数据与真实世界遥操作数据，严格保持环境与硬件配置的一致性。通过生成式模型创建的物体具有形状、尺寸和外观的多样性，支持物理仿真且保持功能一致性。独特的空间标注体系（功能轴、接触轴、侧向轴）为双臂协同操作提供几何约束，而任务场景的随机初始化设置增强了数据集的挑战性和泛化需求。

使用方法

使用RoboTwin数据集时，建议采用仿真预训练与真实数据微调的两阶段策略。研究者可加载标准化的任务场景配置文件，获取多视角RGB-D观测数据（320×240分辨率）及对应的点云信息（1024个采样点）。对于策略学习，推荐采用扩散策略网络架构，利用数据集提供的关节位姿、末端执行器轨迹等真值信息。特别设计的碰撞避免API接口可辅助双臂协同算法的开发，而任务成功率评估模块支持标准化性能验证。数据集支持从单臂操作到复杂双臂协调任务的渐进式研究。

背景与挑战

背景概述

RoboTwin数据集由香港大学、上海人工智能实验室等机构的研究团队于2025年提出，旨在解决双臂机器人协同操作领域的关键瓶颈问题。该数据集创新性地采用生成式数字孪生技术，通过3D生成基础模型和大型语言模型，从单张2D图像自动构建多样化的物体3D模型及空间标注，并生成符合真实物理约束的专家示范数据。作为首个集成仿真与真实数据的双臂操作基准测试平台，RoboTwin显著提升了模拟训练与真实部署的性能对齐，在医疗、制造等领域具有重要应用价值。

当前挑战

RoboTwin面临的核心挑战体现在两个方面：在领域问题层面，现有基准测试多聚焦单臂任务或分离式双臂操作，难以捕捉集成化双臂系统所需的复杂协调要求；在构建过程中，传统人工遥操作数据采集成本高昂且难以覆盖长尾场景，而算法轨迹生成方法又存在任务特异性强、泛化性不足的问题。此外，如何确保生成式模型创建的3D数字孪生物体具有精确的物理属性，以及如何通过空间关系推理生成符合运动学约束的双臂协同代码，都是构建过程中需要攻克的技术难点。

常用场景

经典使用场景

在机器人学领域，双机械臂协调操作是实现复杂物体操控的关键技术。RoboTwin数据集通过生成式数字孪生框架，为双机械臂任务提供了多样化的专家示范数据和真实世界对齐的评估平台。该数据集最经典的使用场景包括从单一2D图像创建多样化的3D物体模型，并基于空间关系感知的代码生成框架，自动分解任务、确定空间约束并生成精确的机械臂运动代码。这种场景特别适用于需要高度协调的双机械臂操作任务，如锤击、物体交接等。

实际应用

在实际应用层面，RoboTwin数据集展现出广泛的应用前景。在工业制造领域，可用于训练机械臂完成精密装配任务；在物流仓储中，能优化包裹分拣和堆叠的效率；医疗辅助方面，可支持手术器械的精准操控。数据集特别适用于那些需要双臂高度协调的场景，如同时操作多个物体或执行复杂的空间约束任务。通过结合少量真实样本进行微调，基于RoboTwin训练的模型能快速适应实际工作环境。

衍生相关工作

RoboTwin数据集推动了多个相关研究方向的进展。在算法层面，催生了如3D Diffusion Policy等新型模仿学习方法；在基准测试方面，启发了更全面的双机械臂评估体系构建；数据生成技术上，促进了生成式基础模型与机器人学的深度融合。该数据集还衍生出针对特定场景的改进方法，如空间关系推理框架和碰撞避免策略，为后续研究提供了重要参考。这些工作共同推动了双机械臂操作技术向更智能、更通用的方向发展。