RVN-Bench

RVN-Bench是一个用于室内移动机器人反应式视觉导航的碰撞感知基准测试，代理必须在先前未见过的环境中仅使用视觉观察和无先验地图的情况下到达顺序目标位置，同时避免碰撞。它基于Habitat 2.0模拟器构建，使用高保真HM3D场景，并提供评估场景、在线强化学习环境和轨迹数据集生成器。RVN-Bench is a collision-aware benchmark for reactive visual navigation of indoor mobile robots, where agents must reach sequential target positions in previously unseen environments using only visual observations and without prior maps, while avoiding collisions. Built on the Habitat 2.0 simulator, it utilizes high-fidelity HM3D scenes and provides evaluation scenes, online reinforcement learning environments, and a trajectory dataset generator.

原始信息汇总

数据集概述

RVN-Bench 是一个面向室内移动机器人反应式视觉导航的碰撞感知基准测试。智能体必须仅依靠视觉观测（无预先地图）在未知环境中按顺序到达目标位置，同时避免碰撞。

核心特性

• 仿真平台：基于 Habitat 2.0 模拟器 和高保真 HM3D 场景 构建。
• 场景划分：提供 train、rvn-val、rvn-test 三个数据划分，基于留出的 HM3D 场景。
• 功能模块：
  • 评估场景
  • 用于训练反应式导航策略的在线强化学习环境
  • 轨迹数据集生成器，可生成标准数据集和负样本（碰撞）数据集，格式兼容 visualnav-transformer

数据规模与场景来源

• 训练集：场景编号 00000-kfPV7w3FaU5 至 00799-deNrXzuSss5（共 800 个场景）
• 验证集：场景编号 00800-TEEsavR23oF 至 00849-a8BtkwhxdRV（共 50 个场景）
• 测试集：场景编号 00850-W7k2QWzBrFY 至 00899-58NLZxWBSpk（共 50 个场景）
• 场景数据需从 HM3D 数据集 下载。

轨迹数据集格式

每个轨迹文件夹结构如下：

{map_name}{traj_idx}/ ├── #.jpg # 主摄像头图像 ├── #{camera_name}{rgb}.jpg # 各摄像头 RGB 图像 ├── #{camera_name}_{depth}.tiff # 各摄像头深度图像（单位：毫米） ├── traj_data.pkl # 轨迹数据（Pickle 格式） ├── data_config.yaml # 数据集配置 ├── global_occupancy_map.png # 全局占用地图图像 └── global_occupancy_map.yaml # 全局占用地图配置文件

traj_data.pkl 说明

包含二维位置与偏航角，格式为：

json {"position": [[x_0, y_0], [x_1, y_1], ...], "yaw": [yaw_0, yaw_1, ...]}

data_config.yaml 说明

包含机器人与相机的配置信息。

global_occupancy_map.yaml 说明

ROS 占用地图配置文件（注意：其中的地图名称字段不准确，被设置为原始地图名称）。

数据集生成

• 生成标准轨迹数据集： bash python scripts/collect_traj_data.py -cp=configs/dataset_collector/train_dataset_collector_f.yaml --seed=2503011350 --save_dir=data/trajectory_datasets -m=discrete

• 生成负样本（碰撞）数据集： bash python scripts/collect_traj_data.py -cp=configs/dataset_collector/train_dataset_collector_f.yaml --seed=2503011350 --save_dir=data/trajectory_datasets -m=discrete_single_neg

策略评估

• 提供演示检查点（ResNet-LSTM PPO 智能体）可通过 GitHub Release 下载。

• 评估命令： bash python scripts/run_seq_point_goal_nav_exp.py

• 用户可通过继承 agents.agent.Agent 类创建自定义智能体进行基准测试。

论文与项目链接

• 论文：ArXiv 2603.03953
• 项目页面：RVN-Bench 项目网站

搜集汇总

数据集介绍

构建方式

RVN-Bench基于Habitat 2.0仿真平台与高保真HM3D场景构建，精心设计了训练集、验证集和测试集的数据划分，分别包含800、50和50个独立场景，确保评估的泛化性。研究者开发了一套轨迹数据集生成器，能够同时产出标准导航轨迹与包含碰撞的负样本数据集，后者特别适用于训练碰撞感知策略。轨迹数据以图像序列、位置姿态记录和栅格地图等形式存储，并兼容visualnav-transformer的数据格式，便于即插即用。

使用方法

使用者首先需下载HM3D场景数据集并按指定目录结构部署，随后通过conda创建专用环境并安装Habitat-Sim与Habitat-Lab库。轨迹数据集可通过运行收集脚本生成，选择离散模式即可产出标准或负样本数据。评估已有策略时，可下载预训练模型并执行顺序点目标导航实验脚本，而若要测试自定义智能体，只需继承Agent基类并实现导航逻辑，在实验脚本中注册即可完成基准测试。

背景与挑战

背景概述

在移动机器人领域，反应式视觉导航旨在使智能体仅依赖视觉观测，在无先验地图的未知室内环境中，顺序抵达指定目标点并避免碰撞。该任务融合了感知、规划与控制等多重挑战，是自主机器人实现通用化部署的关键瓶颈。为此，首尔大学与Sequor Robotics的Jaewon Lee研究团队于2025年提出了RVN-Bench基准，基于Habitat 2.0模拟器与高保真HM3D场景构建。该数据集提供了标准化的训练/验证/测试场景划分、在线强化学习环境与轨迹数据集生成工具，通过引入负样本（碰撞轨迹）扩展了传统导航基准的碰撞感知能力，为评估反应式导航策略的鲁棒性与安全性奠定了重要基础，对推动具身智能研究具有显著影响力。

当前挑战

该数据集所解决的领域核心挑战在于，现有视觉导航方法多依赖环境地图或全局路径规划，在开放性未知空间中易因感知噪声和动态障碍物导致碰撞。RVN-Bench通过反应式策略的设计（即无地图、仅基于当前视觉观测直接生成运动指令），要求智能体在目标驱动下实时处理高维视觉输入与碰撞风险间的权衡。构建过程中，需在高仿真Habitat环境中生成大规模多样化轨迹，并人工标注正样本（安全导航）与负样本（人为诱导碰撞）以训练碰撞感知模型；此外，处理HM3D场景的物理一致性、相机参数校准、以及多传感器数据（RGB、深度、位姿）的同步与存储均构成显著工程挑战。

常用场景

经典使用场景

在移动机器人领域，基于视觉的自主导航一直是核心挑战之一，尤其是在动态、未知环境中实现实时避障与目标抵达。RVN-Bench作为一个面向反应式视觉导航的碰撞感知基准测试平台，专为评估和训练室内移动机器人在无先验地图的情况下，仅依赖视觉观测依次到达多个目标点的能力而设计。其经典使用场景涵盖从仿真到真实世界的迁移学习，研究者可利用该平台在Habitat 2.0模拟器与高保真HM3D场景中，快速部署反应式导航策略，并通过标准化训练/验证/测试集获取可复现的性能指标。

解决学术问题

该数据集针对室内移动机器人反应式导航中常见的学术难题提供了系统性解决方案，包括如何在没有全局地图的约束下实现鲁棒的避障行为，以及如何评估导航策略的泛化能力。通过引入标准化评估场景与碰撞感知指标，RVN-Bench有效弥补了既有基准在轨迹安全性量化方面的不足，推动了对密集动态环境下策略稳定性的深入探索。其公开的在线强化学习环境与轨迹生成器为研究样本效率、策略迁移及负样本生成等前沿问题提供了关键工具，显著促进了反应式导航从理论模型向可靠系统的转化。

实际应用

RVN-Bench具备直接驱动实际应用的价值，尤其适用于服务机器人、仓储物流机器人及家庭辅助设备的视觉导航系统开发。通过模拟器中的高保真场景训练，所习得的反应式策略能够显著降低真实部署中因环境未知或动态变化引发的碰撞风险，提升机器人长时运行的自适应性。此外，其数据集生成管道支持定制化轨迹收集，可服务于工业巡检中的路径规划优化、无人配送中的障碍物规避等落地需求，为算法从仿真向物理世界迁移提供了低成本的验证桥梁。

数据集最近研究

最新研究方向

在室内移动机器人领域，反应式视觉导航作为实现无需预建地图即可自主运动的关键技术，正逐步从仿真走向现实应用。RVN-Bench应运而生，构建于Habitat 2.0仿真器与高保真HM3D场景之上，旨在为碰撞感知的反应式导航提供标准化评估。该基准不仅涵盖训练、验证与测试三阶段场景划分，还集成在线强化学习环境与轨迹数据集生成工具，尤其支持生成含碰撞负样本的数据，契合了当前视觉导航研究中对抗性训练与安全运动规划的热点趋势。其设计紧密关联大模型在具身智能中的应用，如视觉导航Transformer等前沿方法，通过提供可复现的评测流程与接口，有力推动了反应式策略在复杂室内环境中的泛化能力与鲁棒性研究。