OmniNavBench

OmniNavBench是一个统一的通用导航基准数据集，它打破了传统导航基准的隔离限制，结合了六种子任务（PointNav、VLN、ObjectNav、SocialNav、Human Following、EQA）的复合指令，支持三种机器人形态（H1人形、Aliengo四足、Carter轮式），并在170个环境（85个GRScenes合成资产和85个真实世界Matterport3D扫描）中收集了1,779条人类遥操作专家轨迹，总长度29.5公里，包含2400万帧RGB-D数据，旨在提供自然主义的人类演示以促进导航策略研究。

OmniNavBench is a unified general navigation benchmark dataset that breaks the isolation constraints of traditional navigation benchmarks. It integrates composite instructions for six subtasks, namely PointNav, VLN, ObjectNav, SocialNav, Human Following and EQA, and supports three robot morphologies: H1 humanoid, Aliengo quadruped, and Carter wheeled robot. A total of 1,779 human teleoperated expert trajectories have been collected across 170 environments, which include 85 GRScenes synthetic assets and 85 real-world Matterport3D scans. The total length of these trajectories reaches 29.5 kilometers, and the dataset contains 24 million frames of RGB-D data. It aims to provide naturalistic human demonstrations to advance research in navigation strategies.

原始信息汇总

OmniNavBench 数据集详情

数据集概述

OmniNavBench 是一个面向通用导航任务的统一基准测试集，旨在突破现有导航基准的三大局限：单一技能孤立测试、单一机器人形态约束、基于最短路径的参考轨迹。该数据集同时支持复合指令、多种机器人形态和人类遥操作参考轨迹。

三大范式转变

• 组合复杂性：每条指令至少融合六大子任务原语中的两种（PointNav、VLN、ObjectNav、SocialNav、Human Following、EQA），要求智能体在满足社交导航/EQA约束的同时，在任务中切换策略。
• 形态通用性与传感器灵活性：同一指令集可在 H1人形机器人、Aliengo四足机器人和Carter轮式机器人 上运行，通过模块化传感器接口（RGB-D、LiDAR、全景），覆盖 170个环境（85个GRScenes合成场景 + 85个Matterport3D真实扫描）。
• 自然人类演示：包含 1,779条通过人类遥操作收集的专家轨迹，平均长度16.7米，累计长度29.5公里，24小时第一人称RGB-D视频，共260万帧。数据包含探索性注视、预期性避障等最短路径规划器无法复现的行为。

数据集规模

属性	数值
子任务家族	PointNav · VLN · ObjectNav · SocialNav · Human Following · EQA
机器人形态	H1人形 · Aliengo四足 · Carter轮式
环境数量	170（85 GRScenes合成 + 85 Matterport3D真实）
复合指令	1,779条基础指令 · 7,116条含4种语言风格
参考视频	1,700+条遥操作演示 · 260万帧
累计轨迹长度	29.5公里

数据构成

主数据集

数据集可通过 Hugging Face 获取：AutoLab-SJTU/OmniNavBench

数据集目录结构如下：

OmniNavBench/ ├── annotations/ # 场景JSON文件 │ ├── train/ # 包含真实标注，支持本地离线评分 │ │ └── {original,concise,verbose,first_person}/ │ │ └── {human,dog,car}/ # robot dirs: human=H1, dog=Aliengo, car=Carter │ │ └── <scene_id>/ │ │ └── final_episode_N.json │ └── test/ # 无真实标注，用于排行榜提交 │ └── <style>/<robot>/<scene>/... │ └── videos/ # 真实轨迹回放视频（仅训练集） └── train/...

机器人形态对应关系

--robot 参数	数据集目录	机器人模型
h1	human/	Unitree H1 人形机器人
aliengo	dog/	Unitree Aliengo 四足机器人
carter	car/	NVIDIA Carter 轮式机器人

场景资源

采用 170个环境 的混合套件：

• 85个高保真合成资产：来自 GRScenes
• 85个真实世界扫描：来自 Matterport3D（使用受 Matterport3D 使用条款 约束）

指令与语言风格

包含 4种语言风格：original（原始）、concise（简洁）、verbose（详细）、first_person（第一人称），每条基础指令均生成4种风格变体，共计 7,116条复合指令。

评价指标

通过离线评分器计算以下指标：

• SR（成功率）
• CSR（复合成功率）
• SoftSR（软成功率）
• SPL（路径长度加权成功率）
• NE（导航误差）
• OSR（目标成功率）
• social_violation_ratio（社交违规率）
• eqa_accuracy（问答准确率）

安装与环境要求

系统要求

组件	版本	备注
操作系统	Linux	需要Vulkan；不支持Windows
Python	3.11	推荐conda环境
Isaac Sim	5.0.0	通过Isaac Lab安装指南安装
Isaac Lab	2.3.0	需要omni.isaac.matterport扩展
GPU	NVIDIA, CUDA 12.8	策略服务器建议≥24 GB VRAM
RAM	≥ 32 GB	Isaac Sim基线需求

安装步骤

1. 安装Isaac Sim和Isaac Lab（遵循 Isaac Lab pip安装指南）
2. 克隆本仓库并安装Python依赖：pip install -e .

策略支持

内置参考策略适配器

--policy 参数	参考来源	说明
forward	冒烟测试	内置，无需服务器
uninavid	Uni-NaVid（第三方）	需外部仓库和检查点
mtu3d	MTU3D（第三方）	需外部仓库和检查点
poliformer	PoliFormer（第三方）	需外部仓库和检查点
omninav	OmniNav（第三方）	需外部仓库和检查点

排行榜

排行榜页面：http://omninavbench.cloud-ip.cc/

提交结果需将--output目录上传至排行榜，由服务器端使用相同的离线评分器进行评估。

许可协议

OmniNavBench代码采用 MIT许可证 发布。捆绑的场景数据受 Matterport3D 使用条款 约束，不由本仓库重新分发。

搜集汇总

数据集介绍

构建方式

在移动机器人导航领域，现有基准测试常将点导航、视觉语言导航、目标导航、社交导航、人体跟随及具身问答等子任务割裂考察，且局限于单一机器人形态与最短路径参考数据。OmniNavBench通过三项范式突破构建统一基准：其一，每一条复合指令交织至少两个子任务基元，迫使智能体在满足社交导航与具身问答约束的同时，于任务中途完成策略切换；其二，为H1人形机器人、Aliengo四足机器人与Carter轮式机器人三种形态，搭建了一套囊括170个环境（85个GRScenes合成场景与85个Matterport3D真实扫描）的模块化传感器接口；其三，经由人类远程操控采集了1779条专家轨迹，累计29.5公里、24小时第一人称RGB-D数据与260万帧图像，捕捉了最短路径规划器无法复现的探索性扫视与预判性规避等行为。

特点

该数据集的核心特点在于其组合复杂性、形态普适性与自然主义示范的高度统一。每条指令均强制融合点导航、视觉语言导航、目标导航、社交导航、人体跟随与具身问答中至少两类子任务基元，且需同步满足社交导航的无碰撞约束与具身问答的语义正确性。同一指令集可无缝适配人形、四足与轮式三种机器人形态，并通过视觉里程计与深度点云等模块化感知接口，在合成与真实场景间实现交叉验证。1779条人类操控轨迹的平均长度为16.7米，包含了非最短路径的探索性行为与社交回避动作，较A*最短路径参考数据更贴近实际部署中的不确定性。数据集同时提供四种语言风格（原始、简洁、冗长与第一人称）的指令变体，总指令数达7116条，充分支撑多粒度语言指令理解的研究。

使用方法

使用者需首先依据NVIDIA官方指南安装Isaac Sim 5.0.0与Isaac Lab 2.3.0，随后克隆本仓库并通过pip install -e .安装依赖。数据集与场景资产独立存储，通过local_paths.env文件配置OMNINAV_BENCH_DATASET_ROOT与OMNINAV_SCENE_ROOT路径，使用source load_local_paths.sh加载环境变量。策略评估时，用户需将自研策略实现为HTTP服务器，并发设置--policy参数与--<policy>-server-url地址后执行runBench.py。训练集支持本地离线评分，通过bench/evaluator/offline_test.py计算成功率、软成功率、路径长度加权成功率、社交违规率与具身问答准确率等指标；测试集结果需提交至在线排行榜，由同一评分脚本使用私有标注进行计算。

背景与挑战

背景概述

OmniNavBench诞生于机器人自主导航研究范式亟待革新的时代背景之下，由上海交通大学AutoLab团队于2026年创建，并在RSS 2026国际顶级机器人会议上发表。传统具身导航基准往往囿于单一技能（如点导航、视觉语言导航、物体导航）和单一机器人形态的孤立评估，且参考轨迹多依赖最短路径规划器生成，难以反映真实世界中导航任务的复合性与动态性。OmniNavBench的核心研究问题在于如何构建一个能够同时评估多技能组合、跨形态泛化能力以及类人导航行为的统一基准。该数据集通过引入复合指令（交织六种子任务原语）、三种机器人形态（H1人形机器人、Aliengo四足机器人和Carter轮式机器人）以及人类遥操作采集的自然演示轨迹，引领了导航基准评估的三个范式转变。其对领域的深远影响体现在：为从孤立技能评测迈向通用导航能力评估提供了标准化的实验平台，并催生了新的研究方向，如形态无关的导航策略学习与人类行为感知的规划模型。

当前挑战

OmniNavBench所针对的领域核心挑战在于破解导航技能的“孤立化”困境，即现有基准无法评估智能体在多任务交织、多形态部署和动态社交场景下的真实导航能力。具体而言，智能体需在单一回合内无缝切换至少两种子任务（如先执行目标导向的物体导航，同时满足社交礼仪，再回答环境问题），这对策略的上下文建模与在线规划能力提出了严苛要求。此外，不同机器人形态的运动学与传感器配置差异巨大，策略需具备形态无关的泛化能力。在数据集构建过程中，面临的挑战包括：设计符合人类认知逻辑的复合指令与多模态场景，确保任务组合的合理性及难度可控；大规模人类遥操作数据采集的耗时与一致性控制，1,779条专家轨迹累积行走29.5公里，需应对操作员疲劳与行为漂移；以及异构场景资产的集成，需在85个合成场景与85个真实扫描场景间建立统一的物理交互与感知接口，确保模拟环境的逼真度与可复现性。

常用场景

经典使用场景

OmniNavBench作为一个统一的通用导航基准，其最经典的使用场景在于评估和比较跨多种子任务、机器人形态和环境的端到端导航策略。该数据集精心设计了组合指令，每条指令交织至少两种子任务基元（如PointNav、VLN、ObjectNav、SocialNav、Human Following和EQA），迫使智能体在单个回合内灵活切换策略，同时兼顾社会导航和问答约束。研究者可利用该基准，在H1人形机器人、Aliengo四足机器人和Carter轮式机器人三种形态上，通过模块化传感器接口（RGB-D、LiDAR、全景）进行策略训练与评估。数据集覆盖170个环境（85个GRScenes合成资产与85个真实Matterport3D扫描），提供了丰富多样的场景，使得导航策略的泛化能力得到全面检验。

实际应用

在实际应用中，OmniNavBench为服务机器人、自主移动平台和人机协作系统提供了关键的测试与验证工具。例如，在家庭或办公环境中，搭载该数据集训练的导航策略的机器人可以同时执行跟随用户、避让行人、回答环境问题和定位目标等复合任务，显著提升部署场景下的交互自然度和任务完成率。对于轮椅配送、仓库巡检等工业场景，该基准支持多种机器人形态（人形、四足、轮式）的统一评估，帮助企业针对不同任务需求选择最优本体配置。此外，数据集中的社会导航约束（SocialNav）和问答组件（EQA）使其成为开发机场导览、商场引导等公共服务机器人的理想训练资源，能够有效减少人机碰撞并提高用户满意度。

衍生相关工作

围绕OmniNavBench已衍生出一系列代表性工作，推动了导航策略的发展。其中，Uni-NaVid作为一个视觉语言导航基线，利用大规模预训练模型在组合指令下展现出较强的知识迁移能力；MTU3D通过多模态融合策略，在跨形态迁移任务中取得了优异性能；PoliFormer则引入分层强化学习框架，有效处理了多目标优先级冲突问题；而OmniNav作为同团队提出的端到端策略，直接在该基准上验证了其统一导航架构的有效性。这些工作不仅证明了OmniNavBench在促进多任务、多形态导航研究中的核心作用，也为其后续在零样本泛化、模仿学习与人类对齐等方向上的拓展奠定了基础。