NavDP

NavDP数据集是一个大规模的导航数据集，包含超过56,000个导航轨迹和1,000万个渲染的RGB-D图像，覆盖超过360公里的导航距离。数据集是在模拟环境中生成的，使用了一种高效的数据生成流程，每天每个GPU可以生成约2,500个轨迹，比现实世界的数据收集效率高出20倍。数据集涵盖了从3D-Front和Matterport3D选择的超过1,200个场景，每个场景有100对起点和目的地。NavDP数据集的创建旨在为机器人提供导航技能的训练数据，帮助机器人在不同的场景和机器人类型中实现零样本迁移。数据集的应用领域是机器人导航，旨在解决动态开放世界环境中的导航挑战，帮助机器人实现跨不同形态和场景的零样本泛化。

The NavDP dataset is a large-scale navigation dataset containing over 56,000 navigation trajectories and 10 million rendered RGB-D images, covering a total navigation distance of more than 360 kilometers. It is generated in a simulated environment with an efficient data generation pipeline, which can produce approximately 2,500 trajectories per GPU per day, 20 times more efficient than real-world data collection. The dataset includes over 1,200 scenes selected from 3D-Front and Matterport3D, with 100 start-goal pairs per scene. The NavDP dataset is developed to provide training data for robot navigation skills, enabling robots to achieve zero-shot transfer across various scenarios and robot types. Its application focuses on robot navigation, aiming to address navigation challenges in dynamic open-world environments and help robots realize zero-shot generalization across different robot morphologies and scenes.

搜集汇总

数据集介绍

构建方式

NavDP数据集的构建依托于高效仿真环境，采用模块化生成流程：首先在1244个多样化场景（包括3D-Front合成场景与Matterport3D真实扫描场景）中建立圆柱体机器人模型，通过随机化相机高度（0.25-1.25m）和俯仰角（-30°至0°）模拟跨形态机器人视角差异。核心路径规划采用0.2m分辨率的ESDF地图进行A*算法生成初始轨迹，并通过贪婪搜索优化路径点位置以最大化障碍物距离，最终采用三次样条插值生成连续轨迹。借助BlenderProc实现照片级RGB-D渲染，结合纹理随机化、光照随机化等技术，每日可生成2,500条/GPU的高质量轨迹，总规模达363.2公里轨迹与1000万帧图像。

使用方法

数据集支持端到端视觉导航策略开发，典型应用流程包含三阶段：预处理阶段将RGB-D图像裁剪至(0.1m,3.0m)有效深度范围，通过ViT编码器提取256维视觉特征；训练阶段利用多任务框架同步优化扩散策略头（预测24步相对位姿变化）与评价函数头（基于轨迹安全评分），其中扩散头采用U-Net架构与DDPM调度器；部署阶段采用两阶段推理机制，首先生成候选轨迹簇，再通过共享编码器的评价函数选择最优路径。特别支持引入高斯泼溅重建的真实场景数据（约4k轨迹）进行域适应微调，可提升30%现实场景成功率。

背景与挑战

背景概述

NavDP数据集由上海人工智能实验室等机构于2025年提出，旨在解决动态开放世界中机器人导航的泛化性问题。该数据集通过仿真环境生成大规模导航轨迹，涵盖1244个场景、363.2公里轨迹和1000万帧RGB-D图像，其创新性体现在结合扩散策略与评论家函数实现零样本仿真到现实的迁移。作为首个支持四足、轮式和仿人机器人跨形态泛化的导航数据集，NavDP通过高斯泼溅技术构建真实到仿真的训练闭环，显著提升了策略在真实场景的适应能力，为具身智能研究提供了新的基准平台。

当前挑战

NavDP面临的核心挑战体现在两方面：在领域问题层面，需解决动态环境中跨形态机器人的实时路径规划与避障难题，传统方法因系统延迟和复合误差难以应对非结构化场景；在构建过程层面，仿真数据与真实世界的视觉域差距导致策略迁移效率低下，且大规模高质量轨迹标注成本极高。为此，研究团队开发了基于ESDF的自动化轨迹生成流水线（2500轨迹/GPU/天），并通过对比负样本训练评论家函数来增强安全性，但如何平衡仿真数据多样性与真实到仿真数据的比例仍是待优化问题。

常用场景

经典使用场景

NavDP数据集在机器人导航领域具有广泛的应用场景，特别是在动态开放环境中的跨实体导航任务中表现突出。该数据集通过模拟环境生成大规模导航轨迹，结合扩散策略和评论家函数，实现了从模拟到现实的零样本迁移。其经典使用场景包括室内外环境中的四足机器人、轮式机器人和人形机器人的自主导航，能够在复杂环境中生成安全且高效的路径规划方案。

解决学术问题

NavDP数据集解决了机器人导航领域中的多个关键学术问题。首先，它通过模拟数据生成高质量导航轨迹，克服了真实世界数据采集的高成本和低效率问题。其次，该数据集利用扩散策略和评论家函数，有效解决了传统模块化方法中的系统延迟和误差累积问题。此外，通过引入高斯泼溅技术，NavDP进一步缩小了模拟与现实之间的视觉差距，为跨实体导航提供了更加可靠的解决方案。

实际应用

NavDP数据集在实际应用中展现了强大的泛化能力和适应性。该数据集支持的导航策略已成功部署于多种机器人平台，包括Unitree Go2、Galaxea R1等，并在室内外动态环境中表现出色。其应用场景涵盖医院、办公室、仓库等多种复杂环境，能够应对行人干扰、光线变化等现实挑战。此外，NavDP的高效推理速度（>10Hz）使其能够实时处理动态障碍物避障任务，为实际机器人应用提供了可靠的技术支持。

数据集最近研究

最新研究方向

近年来，NavDP数据集在机器人导航领域引起了广泛关注，特别是在动态开放环境中的零样本仿真到现实（sim-to-real）迁移方面。该数据集通过结合扩散轨迹生成和轨迹选择的关键技术，显著提升了导航策略的泛化能力。研究热点主要集中在如何利用大规模仿真数据生成高质量轨迹，并通过高斯泼溅（Gaussian Splatting）技术进一步缩小仿真与现实的视觉差距。NavDP的成功应用不仅推动了多模态导航策略的发展，还为跨平台机器人（如四足、轮式和仿人机器人）的通用导航提供了新的解决方案。其高效的数据生成方法（每日2500条轨迹/GPU）和跨场景适应性，使其成为当前导航领域的重要基准。

相关研究论文

• NavDP: Learning Sim-to-Real Navigation Diffusion Policy with Privileged Information Guidance

  上海人工智能实验室 · 2025年