spatialverse/SAGE-3D_InteriorGS_usdz

SAGE-3D InteriorGS USDZ数据集是InteriorGS数据集的格式转换版本，专为NVIDIA Omniverse和Isaac Sim平台设计。该数据集包含1000个室内场景的USDZ格式文件，保留了原始3D高斯泼溅（3DGS）数据的照片级真实感渲染质量。数据集提供了与Isaac Sim 5.0+的直接兼容性，支持实时渲染和物理模拟。转换过程使用NVIDIA的3DGRUT库完成，从压缩的PLY格式转换为USDZ格式。The SAGE-3D InteriorGS USDZ dataset is a format-converted version of the InteriorGS dataset, designed for NVIDIA Omniverse and Isaac Sim platforms. It includes 1,000 indoor scenes in USDZ format, preserving the photorealistic rendering quality of the original 3D Gaussian Splatting (3DGS) data. The dataset offers direct compatibility with Isaac Sim 5.0+, supporting real-time rendering and physics simulation. The conversion process is performed using NVIDIAs 3DGRUT library, transforming compressed PLY files into USDZ format.

搜集汇总

数据集介绍

构建方式

在三维场景理解与具身智能研究领域，高质量仿真数据集的构建是连接视觉感知与物理交互的关键桥梁。SAGE-3D_InteriorGS_usdz数据集是基于原始InteriorGS数据集进行格式转换的产物。原始InteriorGS以压缩PLY格式存储了1000个高质量室内三维高斯溅射场景，但该格式无法直接兼容NVIDIA Isaac Sim和Omniverse等现代仿真平台。为弥合这一鸿沟，研究团队利用NVIDIA开发的3DGRUT库，构建了一条完整的转换管线：首先将压缩PLY解压为原始PLY格式，再通过3DGRUT将其高效转换为USDZ格式。该格式基于UsdVolVolume Schema的扩展设计，专为Isaac Sim中的三维高斯渲染而优化，从而实现了场景数据从静态存储到动态仿真环境的无缝迁移。

特点

该数据集的核心特色在于其卓越的平台兼容性与物理仿真潜力。所有1000个室内场景均以USDZ格式呈现，可直接导入NVIDIA Isaac Sim 5.0及以上版本，无需任何额外转换步骤。在渲染质量上，转换过程严格保留了原始三维高斯数据的逼真视觉效果，确保了视觉真实性的完整传递。更为关键的是，USDZ格式支持实时渲染与物理仿真，能够与碰撞网格数据结合，为具身导航任务提供物理可执行的环境基础。这种设计使得数据集不仅适用于视觉语言导航（VLN）等感知任务，更可拓展至机器人操作、环境交互等需要物理反馈的研究领域，体现了数据驱动与物理仿真深度融合的先进理念。

使用方法

使用该数据集需在SAGE-3D框架下进行。用户首先应安装splat-transform和3DGRUT工具，并下载原始InteriorGS数据集及碰撞网格数据集。若直接使用本数据集提供的USDZ文件，可跳过PLY转换步骤。随后，核心操作在于利用sage3d_usda_builder.py脚本，将USDZ场景与碰撞网格结合，构建包含物理属性的USDA场景文件。该脚本通过指定USDZ数据集路径、输出目录、模板文件及占位符参数，自动完成场景组装。最终生成的USDA文件可直接在Isaac Sim中加载，支持实时渲染与物理交互，为具身导航算法的验证与部署提供了标准化的数据接口。

背景与挑战

背景概述

三维高斯泼溅（3D Gaussian Splatting）作为一种新兴的场景表示方法，在计算机视觉与机器人学领域展现出巨大潜力，但其原生格式与主流仿真平台之间的兼容性鸿沟制约了具身智能研究的深入发展。为弥合这一裂隙，SpatialVerse团队于2025年12月发布了SAGE-3D InteriorGS USDZ数据集，该数据集由Bingchen Miao等研究人员主导，将原始InteriorGS中的1000个高质量室内场景从压缩PLY格式转换为USDZ格式，实现了与NVIDIA Isaac Sim及Omniverse生态系统的无缝集成。该工作不仅为视觉语言导航（VLN）与具身导航研究提供了可直接用于物理仿真与实时渲染的三维场景资源，更通过格式统一降低了从感知到决策的仿真部署门槛，对推动具身人工智能的标准化评测与跨平台复现具有里程碑意义。

当前挑战

该数据集面临的核心挑战体现在两个层面。在领域问题层面，现有三维场景数据集大多仅提供静态几何与外观信息，缺少与物理仿真引擎兼容的格式及碰撞体支持，导致机器人导航和交互任务难以在逼真环境中进行闭环验证，这直接制约了从视觉感知到物理执行的完整智能体训练范式。在构建过程层面，原始InteriorGS的压缩PLY格式无法被Isaac Sim原生读取，需借助NVIDIA 3DGRUT库完成解压与格式转换，而这一管线涉及对高斯属性（如位置、协方差、颜色）的精确重编码，任何参数丢失或精度退化都会损害渲染真实感；此外，如何将1000个场景的USDZ文件与独立提供的碰撞网格数据集高效对齐，并生成包含物理属性的USDA场景文件，亦是工程实现中的显著技术瓶颈。

常用场景

经典使用场景

SAGE-3D InteriorGS USDZ数据集将1,000个高质量室内场景以USDZ格式呈现，专为与NVIDIA Isaac Sim和Omniverse平台无缝集成而设计。该数据集最经典的使用场景在于为具身导航与机器人仿真提供即用的、具备物理交互能力的3D高斯泼溅（3D Gaussian Splatting）场景。通过将原始InteriorGS的压缩PLY文件转换为USDZ格式，研究者可直接在Isaac Sim中加载这些场景，结合碰撞网格实现物理仿真，从而在虚拟环境中训练和评估具身智能体的导航、避障与操作能力。该数据集填补了高保真3DGS场景与现代仿真平台之间的格式鸿沟，极大降低了从视觉重建到物理仿真的技术门槛。

解决学术问题

该数据集主要解决了室内场景三维重建与具身智能仿真之间的数据兼容性难题。传统上，3DGS场景以PLY格式存储，无法直接用于Isaac Sim等物理仿真引擎，导致视觉重建成果难以迁移至具身导航研究。SAGE-3D InteriorGS USDZ通过格式转换，使得高保真3DGS场景能够与碰撞网格结合，实现物理交互仿真，从而支持视觉语言导航（VLN）、具身导航等任务在真实感虚拟环境中的训练与测试。这一工作推动了从静态场景重建到动态物理仿真范式的跃迁，为构建大规模、可交互的3D环境基准提供了关键基础设施。

衍生相关工作

该数据集作为SAGE-3D项目的重要组成部分，衍生了一系列具有影响力的研究工作。首先，其转换流程基于NVIDIA的3DGRUT库，启发了后续关于3DGS场景格式标准化与跨平台迁移的研究。其次，该数据集与SAGE-3D Collision Mesh数据集共同构成了物理仿真场景的完整管线，推动了具身导航领域从纯视觉任务向物理可执行任务的演进。此外，项目团队基于此数据集发布了SAGE-3D VLN Data，将导航指令与物理场景对齐，催生了多篇关于语义对齐、物理交互与导航决策的学术论文，如《Towards Physically Executable 3D Gaussian for Embodied Navigation》等，为具身AI的虚实迁移提供了重要基准。