WANDERLAND

WANDERLAND是由纽约大学与康奈尔大学联合创建的开放世界具身AI仿真数据集，其核心价值在于通过多传感器融合技术构建几何精确的虚实交互环境。该数据集涵盖530个室内外城市场景，包含42万帧多模态数据与380万平方米的空间覆盖，数据源来自手持式三维扫描仪采集的LiDAR点云、IMU惯性测量与双鱼眼相机图像。数据集构建采用创新的LiDAR-惯性-视觉SLAM重建流程，确保度量尺度精度与全局一致性，并基于3D高斯散射实现高保真渲染。本数据集主要应用于具身导航系统的闭环评估、三维重建算法验证及新颖视图合成研究，旨在解决开放世界中几何基础不准确导致的仿真可靠性难题。

搜集汇总

数据集介绍

构建方式

在具身智能的开放世界仿真领域，WANDERLAND数据集通过创新的多传感器融合框架实现几何精确的场景构建。该框架采用手持式三维扫描设备，集成LiDAR、惯性测量单元与广角相机，以非均匀采样策略捕捉室内外混合环境的密集多视角数据。通过LiDAR-惯性-视觉同步定位与建图技术，生成全局一致的公制尺度点云与精确相机位姿，为三维高斯溅射模型提供几何初始化基础，并基于点云体素化提取可靠碰撞网格，最终在Isaac Sim中实现光真实感渲染与物理交互的统一集成。

特点

WANDERLAND数据集的核心特征体现在其几何精确性与多模态数据的丰富性。数据集包含530个场景的42万帧数据，覆盖380万平方米的室内外城市空间，每个场景提供同步的原始传感器数据与处理后的多维度输出。其独特价值在于通过LiDAR增强重建保障了相机位姿的公制尺度准确性，解决了纯视觉方法在低纹理区域的尺度模糊问题。同时，数据集支持从三维重建到具身导航的全链条任务评测，包含自动生成的视觉语言导航指令与基于导航网格的专家轨迹，为开放世界仿真提供了可复现的几何基准。

使用方法

该数据集支持具身智能领域的多维度研究应用。在导航任务评测中，用户可通过加载USD场景文件直接接入Isaac Sim仿真器，使用预定义的图像目标导航与视觉语言导航任务进行策略训练与评估。对于三维视觉研究，数据集提供带公制真值的点云与相机轨迹，可用于新颖视图合成与三维重建算法的基准测试。研究人员还可利用原始传感器数据流进行多模态融合方法的消融实验，或通过轨迹生成模块扩展导航任务定义，实现从几何感知到高层决策的端到端系统验证。

背景与挑战

背景概述

WANDERLAND数据集由纽约大学与康奈尔大学联合团队于2025年提出，旨在解决具身智能在开放世界环境中的仿真评估瓶颈。该数据集通过融合激光雷达、惯性测量单元与视觉传感器，构建了覆盖室内外城市场景的几何精确仿真环境。其核心研究在于突破传统RGB-D数据在户外场景的局限性，为视觉导航、三维重建等任务提供兼具光度真实性与几何可靠性的测试基准，推动了具身智能从封闭环境向复杂城市空间的范式转移。

当前挑战

该数据集主要面临双重挑战：在领域问题层面，需解决开放世界具身导航中视觉仿真与物理交互的割裂问题，具体表现为基于视频的3D高斯溅射方法存在相机位姿估计偏差、碰撞网格破碎化及外推视角渲染退化等缺陷；在构建过程层面，需克服多传感器数据融合的时空一致性难题，包括激光雷达与视觉数据在超大尺度场景下的标定对齐、动态物体剔除，以及跨模态几何初始化中的数值稳定性问题。

常用场景

经典使用场景

在具身智能与计算机视觉领域，WANDERLAND数据集通过融合激光雷达、惯性测量单元与视觉传感器数据，构建了高精度几何基础与逼真渲染的仿真环境。其最经典的应用场景在于为开放世界中的视觉导航任务提供闭环评估平台，支持图像目标导航、视觉语言导航等任务在混合室内外场景中的训练与测试，有效解决了传统仿真环境因几何失真导致的策略评估不可靠问题。

衍生相关工作

该数据集催生了多类经典衍生研究：在三维重建领域，其LiDAR-视觉融合框架启发了如MapAnything等度量级重建模型的优化；在仿真渲染方面，基于WANDERLAND几何先验的3D高斯溅射训练方法被扩展至动态场景建模；在导航策略研究中，CityWalker、NoMaD等模型通过在该数据集上的微调，显著提升了开放环境下的路径规划鲁棒性与语义理解能力，形成了从数据构建到算法迭代的完整研究链路。

数据集最近研究

最新研究方向

在具身人工智能领域，WANDERLAND数据集正推动开放世界环境下的几何精确仿真研究。该数据集通过融合激光雷达、惯性测量单元与视觉传感器的多模态采集系统，解决了传统视频-3D高斯泼溅框架在度量尺度重建、几何交互可靠性及外推视图合成方面的核心瓶颈。当前前沿研究聚焦于构建兼具光度真实感与物理交互基础的仿真环境，为视觉导航、三维重建等任务提供可复现的评测基准。其多传感器融合架构为探索大规模城市场景中的语义一致性仿真、导航策略泛化性等热点问题奠定了基础，显著提升了具身智能系统在复杂动态环境中的决策可靠性。

相关研究论文

• Wanderland: Geometrically Grounded Simulation for Open-World Embodied AI

  纽约大学, 康奈尔大学 · 2025年