Real2Render2Real

Real2Render2Real是一个用于生成大规模机器人训练数据的新框架，无需依赖物体动力学模拟或机器人硬件的远程操作。该数据集通过智能手机扫描对象的多视图和人类示范视频，生成数千个高视觉保真的机器人无关演示。数据集支持刚性和铰接对象，并通过3D高斯Splatting (3DGS)生成网格资产。生成的轨迹包括机器人本体感觉、末端执行器动作和对齐的RGB观察，可用于视觉语言动作模型和扩散模型等现代模仿学习策略。该数据集旨在解决机器人学习模型训练数据稀缺的问题，通过计算数据生成来实现可扩展性和多样性，而不需要动力学模拟或机器人硬件。

Real2Render2Real is a novel framework for generating large-scale robotic training data that eliminates the need for object dynamics simulation or remote operation of robotic hardware. The corresponding dataset captures multi-view scans of objects and human demonstration videos via smartphones to produce thousands of high-visual-fidelity robot-agnostic demonstrations. The dataset supports both rigid and articulated objects, and generates mesh assets through 3D Gaussian Splatting (3DGS). The generated trajectories encompass robot proprioception, end-effector actions, and aligned RGB observations, which are applicable to modern imitation learning strategies such as vision-language action models and diffusion models. This framework aims to address the scarcity of training data for robotic learning models, achieving scalability and diversity via computational data generation without relying on dynamics simulation or robotic hardware.

原始信息汇总

Real2Render2Real (R2R2R) 数据集概述

基本信息

• 名称: Real2Render2Real (R2R2R)
• 开发团队: UC Berkeley, Toyota Research Institute
• 主要贡献者: Justin Yu, Letian Fu, Huang Huang, Karim El-Refai, Rares Ambrus, Richard Cheng, Muhammad Zubair Irshad, Ken Goldberg
• 相关链接:
  • 论文
  • 代码

数据集目标

• 提供一种无需物理模拟或遥操作的可扩展机器人训练数据生成方法。
• 支持训练基于RGB和本体感知的模仿学习框架及视觉语言动作模型（VLA）。

数据生成方法

1. 数据来源:
   • 使用智能手机扫描物体并记录单目人类演示。
   • 重建3D物体几何和外观，跟踪6-DoF物体运动。
2. 数据合成:
   • 通过并行环境的光照真实渲染和逆运动学生成数千种物理上合理的机器人无关演示。
3. 特点:
   • 无需动力学模拟或物理机器人硬件。
   • 支持轨迹插值和领域随机化。

应用与性能

• 训练模型: π0-FAST, Diffusion Policy等模仿学习策略。
• 性能表现:
  • 在5种操作任务中，仅使用R2R2R生成的数据训练的模型性能与使用人类遥操作数据训练的模型相当。
  • 数据生成时间仅为传统方法的1/27。
• 实验规模: 1050次物理机器人实验验证。

技术细节

• 渲染与模拟区别:
  • 渲染: 仅生成视觉数据，不涉及物理引擎的动态交互模拟。
  • 模拟: 使用物理引擎计算动态交互。
• 随机化:
  • 初始物体姿态、光照和相机姿态随机化以增加数据多样性。

引用信息

bibtex @misc{yu2025real2render2realscalingrobotdata, title={Real2Render2Real: Scaling Robot Data Without Dynamics Simulation or Robot Hardware}, author={Justin Yu and Letian Fu and Huang Huang and Karim El-Refai and Rares Andrei Ambrus and Richard Cheng and Muhammad Zubair Irshad and Ken Goldberg}, year={2025}, eprint={2505.09601}, archivePrefix={arXiv}, primaryClass={cs.RO}, url={https://arxiv.org/abs/2505.09601}, }

搜集汇总

数据集介绍

构建方式

Real2Render2Real (R2R2R) 数据集的构建采用了一种创新的方法，通过智能手机捕捉的物体扫描和人类演示视频生成机器人训练数据，而无需依赖物体动力学模拟或机器人硬件遥操作。具体而言，该方法利用3D高斯泼溅(3DGS)技术重建详细的3D物体几何和外观，并通过6自由度(6-DoF)物体运动跟踪技术渲染数千个高视觉保真度的机器人无关演示。此外，R2R2R将高斯表示转换为网格，以保持与可扩展渲染引擎（如IsaacLab）的兼容性，同时关闭碰撞建模。

特点

R2R2R数据集的主要特点包括其高度可扩展性和视觉保真度。该数据集能够从单一人类演示视频中生成多样化的机器人执行轨迹，通过重建详细的3D物体几何和外观，并跟踪物体的6-DoF运动。此外，R2R2R支持刚体和铰接物体的灵活资产生成和轨迹合成，使其适用于各种机器人操作任务。数据集生成的轨迹包括机器人本体感觉、末端执行器动作以及配对的RGB观察，这些观察在变化的照明、相机姿态和物体放置条件下渲染，与现代模仿学习策略（如视觉-语言-动作模型和扩散模型）直接兼容。

使用方法

R2R2R数据集的使用方法主要涉及将其生成的机器人演示数据直接应用于训练操作机器人本体感觉状态和图像观察的模型。具体而言，该数据集适用于视觉-语言-动作模型(VLA)和模仿学习策略的训练。用户可以通过智能手机捕捉物体扫描和人类演示视频，利用R2R2R生成多样化的机器人训练数据，从而在无需动力学模拟或机器人硬件的情况下，高效地扩展机器人学习的数据规模。实验表明，基于单一人类演示生成的R2R2R数据训练的模型，其性能可与基于150次人类遥操作演示训练的模型相媲美。

背景与挑战

背景概述

Real2Render2Real (R2R2R) 是由加州大学伯克利分校和丰田研究所的研究团队于2025年提出的创新型机器人学习数据集生成框架，旨在解决机器人操作任务中数据稀缺的核心问题。该数据集摒弃了传统依赖动力学仿真或硬件遥操作的数据采集范式，转而通过智能手机采集的物体扫描视频和单次人类演示视频，利用3D高斯泼溅技术重建物体几何与外观，并追踪6自由度物体运动轨迹，从而生成大量高保真度的机器人无关演示数据。这一突破性方法显著降低了数据采集成本，为视觉-语言-动作模型（VLA）和模仿学习策略提供了可直接整合的训练数据，在单次人类演示基础上生成的训练数据性能可媲美150次遥操作数据。

当前挑战

R2R2R面临的挑战主要体现在两个维度：领域问题层面，需解决复杂操作任务中视觉感知与运动控制的精细耦合问题，特别是在非结构化环境中处理刚性/铰接物体的几何重建与运动轨迹合成；构建过程层面，存在单目视频的6-DoF姿态跟踪精度不足、3DGS网格转换导致的物理碰撞建模缺失、轨迹插值对多物体交互的适应性有限等技术难点。此外，该方法当前尚不支持非抓取式操作（如推动）或可变形物体处理，且依赖物体表面低镜面反射假设，在快速运动或严重遮挡场景下易出现跟踪失效。

常用场景

实际应用

在实际应用中，R2R2R数据集可用于训练机器人执行复杂的操作任务，如抓取、放置和操纵物体。例如，在工业自动化中，该数据集可以用于训练机器人执行精细的装配任务；在家庭服务机器人中，可用于训练机器人完成日常家务。其高效的数据生成能力使得机器人能够快速适应多样化的任务和环境。

衍生相关工作

R2R2R数据集衍生了一系列相关研究，包括基于3D高斯泼溅（3DGS）的物体重建和轨迹合成技术，以及差分逆运动学在机器人轨迹生成中的应用。这些工作进一步推动了机器人学习中的数据生成和策略训练方法，为后续研究提供了重要的技术基础和参考。