Annotated Semantic Maps (ASM) Dataset

该数据集名为注释语义地图（ASM）数据集，由北京智源人工智能研究院创建。数据集包含100万个逐步采样的步骤，每个步骤包括RGB帧、相应的ASM、导航指令和帧特定动作。数据集旨在为视觉与语言导航任务提供一种新型的记忆表示方法，通过注释的语义地图来增强路径选择和空间理解。

This dataset, named the Annotated Semantic Map (ASM) Dataset, was constructed by Beijing Academy of Artificial Intelligence (BAAI). It includes 1 million step-by-step sampled steps, where each step consists of RGB frames, the corresponding ASM, navigation instructions, and frame-specific actions. This dataset aims to provide a novel memory representation method for vision-and-language navigation tasks, enhancing path selection and spatial understanding through annotated semantic maps.

搜集汇总

数据集介绍

构建方式

Annotated Semantic Maps (ASM) 数据集是通过 MapNav 模型构建的，该模型在连续环境中执行视觉和语言导航任务。数据集的构建首先将 RGB-D 和姿态数据转换为点云表示，以生成精确的俯视图。然后，将语义分割与点云数据对齐，构建基础语义图，并通过整合关键区域的明确文本注释，将其增强为 Annotated Semantic Map (ASM)。ASM 在每个时间步更新，以便于实时操作。它包含了导航所需的关键环境信息，包括物理障碍分布、探索区域、代理位置、历史轨迹和语义对象位置。

特点

Annotated Semantic Maps (ASM) 数据集的特点在于其创新性地使用了 ASM 作为内存表示，有效地取代了传统的历史帧。ASM 提供了结构化的空间理解，并优化了路径选择，从而提高了导航性能。此外，ASM 还具有以下特点：1. 精确的对象映射和结构化导航信息；2. 显式文本标签，为关键区域提供清晰的导航线索；3. 实时更新，以反映环境的变化。

使用方法

使用 Annotated Semantic Maps (ASM) 数据集的方法如下：1. 将 RGB-D 和姿态数据转换为点云表示，以生成俯视图；2. 将语义分割与点云数据对齐，构建基础语义图；3. 通过整合关键区域的明确文本注释，将语义图增强为 ASM；4. 在每个时间步更新 ASM，以反映环境的变化；5. 使用 ASM 作为 MapNav 模型的输入，以生成导航动作。

背景与挑战

背景概述

在视觉-语言导航（VLN）领域，Annotated Semantic Maps (ASM) 数据集的创建标志着一种新型记忆表示方法的诞生，该方法旨在解决传统方法在处理连续环境导航时面临的挑战。ASM 数据集由来自北京人工智能研究院的研究人员开发，包括 Lingfeng Zhang、Xiaoshuai Hao 等多位学者，于 2025 年发布。该数据集的核心研究问题是如何在遵循自然语言指令的同时，让智能体在复杂和未知的动态环境中进行有效导航。ASM 数据集通过引入注解语义地图，为视觉-语言模型提供了一种结构化的环境理解方式，从而在模拟和现实世界中实现了最先进的导航性能。ASM 数据集的发布为 VLN 领域的研究提供了宝贵的资源，并为未来研究开辟了新的道路。

当前挑战

ASM 数据集所面临的挑战包括：1) 所解决的领域问题：ASM 数据集旨在解决视觉-语言导航中的记忆表示问题，传统的记忆表示方法依赖于历史观察数据，导致存储和计算开销巨大。ASM 通过构建一个自上而下的语义地图，并在每个时间步更新，实现了对环境的高效记忆表示。2) 构建过程中所遇到的挑战：ASM 数据集的构建过程中，研究人员面临着如何将 RGB-D 和姿态数据转化为点云表示，并在此基础上生成精确的顶视可视化。此外，如何将语义分割与点云数据对齐，以及如何为关键区域添加文本注释，也是构建过程中需要解决的挑战。ASM 数据集的成功构建为 VLN 领域提供了新的研究方向，并为解决连续环境导航中的记忆表示问题提供了有效的方法。

常用场景

经典使用场景

Annotated Semantic Maps (ASM) Dataset is primarily utilized for training and evaluating Vision-and-Language Navigation (VLN) models. These models are designed to navigate through complex, unseen environments by interpreting natural language instructions. The dataset provides a structured representation of the environment in the form of Annotated Semantic Maps, which are updated in real-time during navigation. This representation includes physical obstacles, explored regions, agent position, historical trajectories, and semantic object locations, all annotated with explicit textual labels for key regions. This allows the VLN models to develop structured spatial understanding and optimize path selection effectively.

衍生相关工作

The ASM dataset has inspired several related works in the field of VLN. For instance, researchers have explored the use of semantic maps in VLN to improve navigation performance. They have also investigated the use of explicit textual labels in semantic maps to provide clear navigation cues. Additionally, researchers have studied the impact of different training data compositions on the performance of VLN models. These studies have contributed to the development of more effective VLN models that can navigate complex environments following natural language instructions.

数据集最近研究

最新研究方向

Annotated Semantic Maps (ASM) Dataset在视觉与语言导航（VLN）领域开辟了新的研究方向。MapNav模型通过ASM来代替传统的历史帧，构建了一个自顶向下的语义地图，并在每个时间步更新，从而实现了精确的对象映射和结构化导航信息。此外，ASM通过为关键区域添加明确的文本标签，将抽象的语义信息转化为清晰的导航线索。MapNav模型在模拟和真实环境中的实验结果表明，ASM在VLN任务中具有重要作用，其记忆表示能力与传统基于历史帧的方法相当。此外，ASM还使视觉语言模型（VLM）能够发展结构化的空间理解并有效地优化路径选择。ASM作为一种创新的记忆表示方法，有望在各种环境中提升导航性能。

相关研究论文

• MapNav: A Novel Memory Representation via Annotated Semantic Maps for VLM-based Vision-and-Language Navigation

  香港科技大学（广州）, 北京智源人工智能研究院, 北京机器人学会, 武汉大学计算机科学与技术学院, 北京大学计算机科学与技术学院 · 2025年