gs_scenes

Habitat-GS 是一个基于 3D 高斯泼溅和动态高斯化身的高保真实体导航模拟器数据集。该数据集包含从真实环境重建的 65 个室内/室外 GS 场景、6 个高斯化身资产、预生成的导航片段以及用于 StreamVLN 和 Uni-NaVid 的 VLN 轨迹数据。数据集分为五个独立类别：GS 场景（约 12.5 GB）、高斯化身（约 3.1 GB）、Habitat-Lab 导航数据（约 15 MB）、StreamVLN 数据（约 27 GB）和 Uni-NaVid 数据（约 16 GB）。每个场景包含 3DGS 渲染资产、碰撞网格和导航网格。数据集还提供了详细的导航片段统计和选择性下载选项，适用于实体导航代理的训练和评估。

原始信息汇总

Habitat-GS 数据集概述

数据集基本信息

• 名称: Habitat-GS
• 许可证: Apache-2.0
• 任务类别: 机器人学、强化学习
• 语言: 英语
• 标签: 具身导航、视觉语言导航、3D高斯泼溅、高斯化身
• 规模类别: n<1K
• 官方关联项目: Habitat-GS

数据集内容与规模

该数据集是用于Habitat-GS高保真具身导航模拟器的官方高斯泼溅数据集，包含从真实环境重建的资产和预生成的导航数据。

核心资产

• 高斯泼溅场景: 65个室内/室外场景（55个训练场景，10个验证场景）。
• 高斯化身资产: 6个从AnimatableGaussians导出的高斯化身，附带SMPL/SMPL-X身体模型用于运动驱动。

导航任务数据

• PointNav 片段: 56,000个（55,000训练，1,000验证）。
• ImageNav 片段: 56,000个（55,000训练，1,000验证）。
• ObjectNav 片段: 56,000个（55,000训练，1,000验证）。
• 视觉语言导航片段: 11,500个（11,000训练，500验证），支持StreamVLN和Uni-NaVid。

数据集结构

数据集分为五个可独立下载的类别。

类别	路径	大小	用途
1. 高斯泼溅场景	train/, val/	~12.5 GB	核心场景资产，包含.gs.ply（渲染资产）、.mesh.ply（碰撞网格）、.navmesh（导航网格）。
2. 高斯化身	avatars/	~3.1 GB	动态化身模拟，包含规范高斯模型和SMPL/SMPL-X身体模型。
3. Habitat-Lab导航数据	configs/, episodes/{pointnav,imagenav,objectnav}/	~15 MB	PointNav、ImageNav、ObjectNav任务的训练与评估配置及片段。
4. StreamVLN数据	configs/, episodes/vln/, trajectory_data/vln/	~27 GB	StreamVLN任务的训练与评估，包含动作序列、指令和渲染的RGB帧轨迹存档。
5. Uni-NaVid数据	configs/, episodes/vln/, trajectory_data/uninavid/	~16 GB	Uni-NaVid任务的训练与评估，包含对话式标注和轨迹视频存档。

使用说明

• 放置路径: 下载的数据应放置在 habitat-gs/data/scene_datasets/gs_scenes/ 目录下。
• 选择性下载: 可使用 huggingface_hub 的 allow_patterns 或 ignore_patterns 参数下载特定类别数据。
• 数据提取: 下载轨迹存档文件（.tar）后需解压。

引用

若在研究中使用了Habitat-GS，请考虑引用： bibtex @misc{xia2026habitatgs, title={Habitat-GS: A High-Fidelity Navigation Simulator with Dynamic Gaussian Splatting}, author={Ziyuan Xia and Jingyi Xu and Chong Cui and Yuanhong Yu and Jiazhao Zhang and Qingsong Yan and Tao Ni and Junbo Chen and Xiaowei Zhou and Hujun Bao and Ruizhen Hu and Sida Peng}, year={2026}, eprint={2604.12626}, archivePrefix={arXiv}, primaryClass={cs.RO}, url={https://arxiv.org/abs/2604.12626}, }

搜集汇总

数据集介绍

构建方式

在具身导航领域，高保真仿真环境的构建是推动智能体训练与评估的关键。本数据集依托3D高斯泼溅技术，从真实室内外场景中重建出65个高质量三维场景，每个场景均包含渲染资产、碰撞网格与导航网格，确保几何与物理属性的精确性。同时，数据集整合了来自AnimatableGaussians的6个高斯化身资产，支持SMPL/SMPL-X人体模型驱动，为动态交互仿真奠定基础。预生成的导航轨迹与视觉语言导航数据覆盖PointNav、ImageNav、ObjectNav及VLN等多种任务，共计超过17万条训练与验证样本，通过结构化目录组织，实现了多任务数据的统一管理与高效调用。

特点

该数据集在具身导航仿真中展现出显著的技术特色。其核心在于采用3D高斯泼溅表示，能够以高视觉保真度渲染动态场景，同时保持实时交互性能。数据集不仅提供静态场景重建，还引入高斯化身资产，支持可驱动的人体模型，从而扩展至包含动态角色的仿真任务。数据组织采用模块化设计，将场景资产、导航配置与轨迹数据分离，允许用户按需下载特定任务组件，大幅降低存储与传输开销。此外，数据集兼容主流的Habitat-Lab框架及StreamVLN、Uni-NaVid等VLN模型，提供了即用型的评估配置与标注格式，为多模态导航研究提供了完备的基础设施。

使用方法

为高效利用该数据集，用户可根据研究需求选择性下载数据组件。通过huggingface_hub提供的模式过滤功能，可仅获取高斯场景、化身资产或特定导航任务（如PointNav、VLN）的配置与轨迹数据。下载后需将数据放置于habitat-gs项目指定的目录结构中，以确保仿真器正确加载场景与导航网格。对于VLN任务，StreamVLN数据包含逐帧渲染图像与动作序列，而Uni-NaVid则提供视频格式轨迹与对话式标注，用户需解压对应的归档文件以获取完整数据。随后，可借助数据集附带的Hydra配置文件和Habitat-GS仿真器，直接进行智能体的训练与评估，实现从数据加载到模型验证的无缝流程。

背景与挑战

背景概述

在具身智能与视觉语言导航领域，高保真仿真环境的构建是推动智能体在复杂场景中实现精准交互与决策的关键基础。gs_scenes数据集作为Habitat-GS仿真器的核心组成部分，由浙江大学等研究机构于2026年联合发布，旨在通过融合三维高斯溅射与动态高斯化身技术，为导航任务提供高度逼真的室内外场景重建。该数据集涵盖了65个基于真实环境构建的高斯场景、6个动态化身资产以及超过十万条预生成的导航轨迹，其核心研究问题聚焦于解决传统仿真环境中视觉保真度不足与动态交互缺失的局限，从而为PointNav、ImageNav、ObjectNav及VLN等多模态导航任务的训练与评估提供了前所未有的高精度数据支撑，显著提升了具身导航研究的仿真真实性与可扩展性。

当前挑战

gs_scenes数据集致力于应对具身导航中环境建模与动态交互的复杂挑战。在领域问题层面，传统导航仿真常受限于场景渲染的视觉质量与几何精度，难以支撑智能体对光照变化、材质细节及动态对象的鲁棒感知；而该数据集通过三维高斯溅射技术实现了照片级真实感的重建，但如何在此类高维连续表示中高效集成物理碰撞检测、路径规划及实时渲染，仍构成算法设计的核心难点。在构建过程中，挑战主要体现于大规模真实场景的高质量高斯重建、动态化身与静态环境的无缝融合，以及跨任务导航轨迹的大规模标注与一致性校验，这些因素共同增加了数据采集、处理与验证的复杂度。

常用场景

经典使用场景

在具身导航与视觉语言导航研究领域，Habitat-GS数据集凭借其高保真度的三维高斯溅射场景重建技术，为智能体在复杂室内外环境中的导航任务提供了经典仿真平台。该数据集广泛应用于PointNav、ImageNav和ObjectNav等标准导航任务的训练与评估，通过预生成的数万条导航轨迹，支持智能体学习从起点到目标点的路径规划、基于视觉图像的定位以及特定物体的搜寻能力。其动态高斯化身资产进一步扩展了人机交互仿真的可能性，为多模态导航研究奠定了坚实基础。

解决学术问题

该数据集有效应对了具身人工智能研究中长期存在的仿真环境逼真度不足与交互动态性有限等核心挑战。通过集成三维高斯溅射技术，它提供了具有照片级真实感的场景渲染，显著提升了视觉感知模型的训练效果。同时，数据集内嵌的SMPL/SMPL-X人体模型与动态高斯化身，解决了以往仿真中缺乏可驱动虚拟人物的问题，使得涉及人类行为交互的导航任务研究成为可能。这些贡献推动了视觉语言导航、强化学习策略优化以及跨模态理解等前沿方向的发展。

衍生相关工作

该数据集直接支撑并催生了多个具身导航领域的标志性研究工作。例如，它为StreamVLN和Uni-NaVid这两个先进的视觉语言导航模型提供了专门的训练与评估数据，推动了指令跟随与长序列决策研究的发展。此外，数据集所依托的Habitat-GS仿真器本身，便是将动态三维高斯溅射引入机器人仿真的开创性成果。相关技术路径也启发了后续在可动画高斯化身、神经辐射场与具身学习交叉领域的一系列探索，持续丰富着高保真仿真与智能体学习的研究生态。