RE3SIM 数据集

RE3SIM数据集是由上海交通大学、上海人工智能实验室和香港大学共同创建的高保真模拟数据集。该数据集通过RE3SIM系统生成，利用3D重建和视觉RGB渲染技术，重现现实世界场景，以解决机器人操作任务中的几何和视觉仿真-现实差距问题。数据集包含多种桌面任务场景，可用于机器人政策的模仿学习和仿真-现实转移研究。

The RE3SIM dataset is a high-fidelity simulation dataset jointly created by Shanghai Jiao Tong University, Shanghai AI Laboratory, and The University of Hong Kong. Generated via the RE3SIM system, this dataset leverages 3D reconstruction and visual RGB rendering technologies to reproduce real-world scenes, aiming to address the geometric and visual simulation-to-reality gap issues in robotic manipulation tasks. The dataset contains various desktop task scenarios, which can be utilized for imitation learning of robotic policies and simulation-to-reality transfer research.

搜集汇总

数据集介绍

构建方式

RE3SIM 数据集的构建方法涉及三维重建和神经渲染技术，以真实地再现现实世界的场景。首先，通过多视图立体(MVS)技术重建场景和对象的几何形状，然后利用高斯光栅化进行视觉渲染，从而在基于物理的模拟器中实现实时渲染。这种方法有效地减少了现实世界和模拟环境之间的几何和视觉差距。

特点

RE3SIM 数据集的特点在于其高保真几何和视觉质量，这有助于减少现实世界和模拟环境之间的差距。此外，RE3SIM 能够在不到三分钟的手动设置时间内实现场景重建，并提供每秒 24 帧的渲染，支持两个独立相机视图。这些特点使得 RE3SIM 成为训练机器人策略的理想选择。

使用方法

使用 RE3SIM 数据集的方法包括将场景和机器人导入模拟器，然后使用特权策略生成高保真的专家数据。在数据生成过程中，采用拒绝采样来过滤掉失败的回放，从而提高数据集的质量和可靠性。通过在模拟环境中训练机器人策略，可以实现从模拟到现实的零样本迁移，从而在现实世界中执行各种操作任务。

背景与挑战

背景概述

在机器人操作领域，真实世界数据的收集往往成本高昂且资源密集。尽管仿真数据提供了一种可扩展的替代方案，但通常由于几何和视觉上的差异而无法实现仿真到现实的泛化。为了解决这些挑战，Han等人（2025年）提出了一个名为RE3SIM的3D-photorealistic real-to-sim系统，旨在解决几何和视觉上的仿真到现实差距。RE3SIM利用先进的3D重建和神经渲染技术来忠实地重现真实世界场景，并在基于物理的仿真器中实现模拟跨视图摄像头的实时渲染。通过利用特权信息在仿真中高效地收集专家演示，并使用模仿学习训练机器人策略，RE3SIM在各种操作任务场景中验证了real-to-sim-to-real流程的有效性。值得注意的是，仅使用模拟数据，我们就可以实现零样本仿真到现实转移，平均成功率超过58%。为了推动real-to-sim的极限，我们进一步生成一个大规模仿真数据集，展示了如何从仿真数据中构建一个健壮的策略，该策略可以泛化到各种对象。RE3SIM系统的提出，对于机器人操作领域的研究具有重要意义，它为机器人策略的训练提供了一种高效且可扩展的方法，有望推动未来机器人技术的发展。

当前挑战

RE3SIM数据集面临的挑战主要包括：1) 所解决的领域问题的挑战：机器人操作的真实世界数据收集成本高昂且资源密集，而仿真数据往往无法实现仿真到现实的泛化，这限制了机器人策略的训练和应用。2) 构建过程中所遇到的挑战：RE3SIM系统需要解决几何和视觉上的仿真到现实差距，这需要先进的3D重建和神经渲染技术。同时，为了实现零样本仿真到现实转移，RE3SIM系统需要利用特权信息在仿真中高效地收集专家演示，并使用模仿学习训练机器人策略。这些挑战需要进一步研究和探索，以推动RE3SIM系统在机器人操作领域的发展和应用。

常用场景

经典使用场景

RE3SIM数据集的提出，旨在通过3D-photorealistic real-to-sim技术，解决机器人操作中真实世界数据收集成本高、资源密集的问题。RE3SIM利用先进的3D重建和神经网络渲染技术，真实地重现现实世界场景，使模拟的跨视角相机可以在基于物理的模拟器中实时渲染。通过利用特权信息，RE3SIM有效地收集了模拟环境中的专家演示数据，并利用模仿学习训练机器人策略。该数据集为机器人操作任务提供了高质量的数据，从而实现零样本sim-to-real迁移，平均成功率达到58%以上。

衍生相关工作

RE3SIM数据集的提出，引发了相关领域的研究热潮，衍生出许多经典的工作。例如，GaussianGrasper、SplatMover、GraspSplats等研究利用3D Gaussian splatting技术，实现了快速渲染和显式表示，提高了机器人操作的效率和准确性。此外，RoboStudio、SplatSim、RoboGSim等研究使用多视角图像或视频进行世界重建，提高了多视角渲染质量，从而推动了机器人操作技术的发展。

数据集最近研究

最新研究方向

RE3SIM 数据集通过结合先进的 3D 重建和神经渲染技术，实现了对真实世界场景的逼真重现，从而缩小了模拟环境与现实世界之间的差距。该数据集的生成过程涉及将真实场景和物体进行 3D 重建，然后使用混合视觉渲染技术进行渲染。此外，该数据集还考虑了物体和背景的物理参数，并通过实时的物理引擎计算模拟动力学。RE3SIM 数据集的生成过程具有高效、高保真和实时渲染的特点，为机器人操控任务提供了高质量的模拟数据。该数据集在机器人操控任务中的应用前景广阔，有望推动机器人操控技术的发展。

相关研究论文

• Re$^3$Sim: Generating High-Fidelity Simulation Data via 3D-Photorealistic Real-to-Sim for Robotic Manipulation

  上海交通大学, 上海人工智能实验室, 香港大学 · 2025年