Space-Aware Instruction Tuning (SAIT) dataset

SAIT数据集是由韩国ETRI研究所创建的，旨在帮助导盲犬机器人提供精确有效的步行引导给视障人士。该数据集包含了从视障人士视角捕获的图像以及它们的空间描述，专注于虚拟路径和目的地。数据集通过自动数据生成管道构建，包含了对象类和位置的标注，以及基于虚拟路径的步行引导描述。该数据集的应用领域是辅助视障人士的导航，解决他们在复杂环境中行走的问题。The SAIT Dataset was developed by the Electronics and Telecommunications Research Institute (ETRI) of the Republic of Korea, with the goal of enabling guide dog robots to deliver precise and effective walking guidance for visually impaired persons. This dataset comprises images captured from the first-person perspective of visually impaired individuals, paired with their spatial descriptions, focusing on virtual paths and destinations. It is constructed through an automated data generation pipeline, containing annotations for object categories and their positions, as well as walking guidance descriptions based on virtual paths. The application domain of this dataset is to assist visually impaired people in navigation, addressing their difficulties in traversing complex environments.

搜集汇总

数据集介绍

构建方式

Space-Aware Instruction Tuning (SAIT) 数据集的构建旨在帮助导盲机器人更好地为视障人士提供精确有效的步行引导。该数据集通过自动化的数据生成流程，重点关注虚拟路径、环境理解以及空间关系。首先，通过RGB相机捕获真实场景中的图像，并使用YOLov8模型进行对象检测和分割。接着，利用Depth-AnythingV2算法生成深度图，以识别3D空间中的虚拟路径。最后，通过分割图像并分别针对不同区域提供描述，引导视觉语言模型（VLM）更好地理解空间信息。

使用方法

使用SAIT数据集时，首先需要通过数据生成流程生成包含虚拟路径和环境的图像数据。然后，将这些图像数据输入到VLM中进行训练，以使其能够理解空间信息并提供精确的步行引导。在训练过程中，可以使用LLM Judge、METEOR、ROUGE和BERTScore等指标对模型的性能进行评估。此外，SA-Bench还可以用于评估不同VLM模型在为视障人士提供步行引导方面的效果。

背景与挑战

背景概述

随着视觉语言模型（VLMs）的兴起，引导犬机器人成为了提高视障人士移动性和安全性的有力工具。这些机器人能够生成周围环境的自然语言描述，帮助视障人士做出更安全的决策。然而，现有的VLMs在理解和传达空间关系方面往往存在困难，这在复杂的导航环境中尤为重要。为了解决这一问题，ByungOk Han等人提出了空间感知指令调整（SAIT）数据集和空间感知基准（SA-Bench）。该数据集的创建旨在帮助引导犬机器人提供更精确和有效的步行指导。SAIT数据集通过虚拟路径和周围环境的3D空间信息，增强了环境理解能力，并使VLMs能够为视障人士提供更准确的指导。SAIT数据集和SA-Bench的发布，以及相关代码的完全开源，为视觉语言模型的研究和应用提供了宝贵的资源。

当前挑战

SAIT数据集和相关研究面临着多项挑战。首先，现有的VLMs在理解和传达空间关系方面存在困难，这限制了它们在复杂环境中的导航能力。其次，构建SAIT数据集的过程中，需要克服自动数据生成流程中的各种挑战，如对象检测、深度估计和路径规划等。此外，评估VLMs在提供步行指导方面的有效性也是一个挑战，需要设计合理的评估协议和指标。为了克服这些挑战，SAIT数据集引入了一种新颖的自动数据生成流程，并提出了一个评估VLMs在传达简洁和有意义信息方面的基准。此外，研究人员还通过比较实验证明了空间感知指令调整模型在提供步行指导方面的有效性。未来的研究需要进一步改进数据质量，并在真实世界环境中进行验证，以确保方法的实用性和适用性。

常用场景

经典使用场景

Space-Aware Instruction Tuning (SAIT) 数据集主要用于训练视觉语言模型（VLMs），使其能够更好地理解和描述视觉环境，特别是为视障人士提供更精确和有效的步行引导。该数据集通过提供路径、路径两侧和目的地的详细描述，以及路径是否可通行的信息，帮助VLMs更好地理解三维空间中的环境，从而提高视障人士的移动性和安全性。

解决学术问题

SAIT 数据集解决了现有 VLMs 在理解物理环境方面的局限性。传统的 VLMs 通常难以准确解释和传达空间关系，这在复杂的导航环境中尤其重要。SAIT 数据集通过提供精确的空间描述，帮助 VLMs 更好地理解和描述视觉环境，从而为视障人士提供更准确和有效的步行引导。

实际应用

SAIT 数据集的实际应用场景包括视障人士的步行引导、机器人导航、智能交通系统等。通过训练 VLMs 使用 SAIT 数据集，可以开发出能够为视障人士提供精确和有效步行引导的机器人，从而提高他们的移动性和安全性。

数据集最近研究

最新研究方向

Space-Aware Instruction Tuning (SAIT) 数据集的研究方向主要集中在提高导盲机器人对视觉障碍人士的移动性和安全性支持。该数据集通过引入空间感知的概念，帮助视觉障碍人士在复杂的行走环境中进行导航。SAIT 数据集的提出，旨在解决现有视觉-语言模型（VLMs）在理解物理环境方面的局限性，特别是对空间关系的理解。SAIT 数据集采用了自动化的数据生成流程，专注于虚拟路径的3D空间和周围环境，以增强环境理解和提供更精确的导盲支持。此外，SAIT 数据集还提出了一个评估协议，用于评估 VLM 在为视觉障碍人士提供步行引导方面的有效性。通过比较实验，SAIT 数据集的空间感知指令调整模型在提供步行引导方面优于现有算法。

相关研究论文

• Space-Aware Instruction Tuning: Dataset and Benchmark for Guide Dog Robots Assisting the Visually Impaired

  韩国电子通信研究院(ETRI) · 2025年