HAPS 2.0

HAPS 2.0数据集是由华盛顿大学等机构创建的，包含486个SMPL运动序列，覆盖了26种区域类型，如客厅、健身房、人行道等。数据集通过精细的标注流程，确保了运动描述与3D运动序列的准确对齐，适用于研究社会意识导航系统中的动态多人类交互。该数据集支持离散和连续导航环境，为机器人导航研究提供了丰富的多人类动态和部分可观测性挑战。

The HAPS 2.0 dataset was created by the University of Washington and other research institutions. It contains 486 SMPL motion sequences covering 26 types of regional environments, including living rooms, gyms, sidewalks, and more. Through a rigorous annotation pipeline, the dataset ensures accurate alignment between motion descriptions and 3D motion sequences, making it suitable for researching dynamic multi-human interactions in socially-aware navigation systems. This dataset supports both discrete and continuous navigation environments, offering rich multi-human dynamics and partially observable challenges for robotic navigation research.

搜集汇总

数据集介绍

构建方式

HAPS 2.0数据集的构建采用了多阶段的标注流程，结合了粗粒度到细粒度的优化策略。首先，通过粒子群优化（PSO）算法在3D扫描场景中初步定位人类动作，确保动作与场景的合理对齐。随后，采用多视角摄像头系统进行精细调整，消除动作与场景之间的碰撞或穿透现象。此外，数据集还通过大语言模型（如ChatGPT-4和Llama-3-8B）生成多人类交互场景，进一步丰富了数据的多样性和动态性。最终，数据集包含486个3D人类动作序列，覆盖了26个区域类型和172种人类活动，确保了高保真的人类动作与场景对齐。

特点

HAPS 2.0数据集的特点在于其高度动态和多样化的多人类交互场景。数据集不仅包含了丰富的室内外人类活动，还通过多视角摄像头和实时渲染技术，确保了动作与场景的高保真对齐。此外，数据集还引入了社会意识约束，如个人空间保护和动态路径调整，使得数据集能够更好地模拟真实世界中的复杂人类行为。数据集还通过大语言模型生成的交互场景，进一步增强了数据的多样性和现实感，为视觉与语言导航（VLN）研究提供了更具挑战性的测试环境。

使用方法

HAPS 2.0数据集主要用于训练和评估视觉与语言导航（VLN）系统，特别是在动态多人类交互环境中的表现。研究人员可以通过该数据集测试导航代理在复杂人类活动中的路径规划、碰撞避免和社会意识能力。数据集提供了丰富的RGB-D观察数据和多人类交互场景，支持连续和离散导航任务的评估。此外，数据集还配备了实时渲染的模拟器，允许代理在动态环境中进行实时路径调整和碰撞检测。通过公开的排行榜，研究人员可以透明地比较不同代理在离散和连续任务中的表现，推动更具社会意识的导航研究。

背景与挑战

背景概述

HAPS 2.0数据集是Human-Aware Vision-and-Language Navigation (HA-VLN)基准的核心组成部分，旨在解决视觉与语言导航（VLN）系统在动态、多人类交互环境中的挑战。该数据集由华盛顿大学、卡内基梅隆大学等机构的研究团队于2025年发布，扩展了其前身HAPS 1.0，包含了486个3D人体运动序列，涵盖了26种区域类型和172种人类活动。HAPS 2.0通过结合离散与连续导航范式，强调了社会感知约束下的导航任务，推动了机器人导航系统在真实世界中的应用。该数据集的发布为研究者在多人类动态环境中的导航算法开发提供了重要支持，进一步推动了社会感知导航领域的发展。

当前挑战

HAPS 2.0数据集在构建和应用过程中面临多重挑战。首先，数据集的核心任务是解决动态多人类环境中的导航问题，要求机器人能够理解并执行涉及人类活动的复杂指令，如‘绕过正在打电话的人’。这种任务要求模型具备高度的社会感知能力，能够在部分可观测的环境中实时调整路径以避免碰撞。其次，数据集的构建过程中，研究人员需要解决人类运动数据与文本描述之间的对齐问题，确保每个3D运动序列与相应的活动描述精确匹配。此外，数据集还面临多人类交互建模的挑战，如何在模拟器中真实再现人类群体的动态行为，并确保其与导航指令的语义一致性，是构建过程中的一大难点。这些挑战共同推动了HAPS 2.0在数据质量和任务复杂性上的显著提升。

常用场景

经典使用场景

HAPS 2.0数据集在视觉与语言导航（VLN）领域中被广泛应用于模拟动态多人类交互环境中的导航任务。该数据集通过结合离散和连续导航范式，提供了丰富的多人类活动场景，使得研究者能够在高度逼真的环境中测试和优化导航算法。经典的使用场景包括在室内外环境中，机器人根据自然语言指令导航，同时避免与动态移动的人类发生碰撞。

实际应用

HAPS 2.0数据集的实际应用场景主要集中在服务机器人、智能家居和公共空间导航等领域。例如，在商场或医院中，机器人可以根据语音指令导航至指定位置，同时避免与行人发生碰撞。此外，该数据集还可用于开发智能家居系统，帮助机器人在家庭环境中执行任务，如递送物品或协助老年人，同时确保不打扰家庭成员的活动。

衍生相关工作

HAPS 2.0数据集衍生了许多相关的研究工作，特别是在社会意识导航和多人类交互领域。基于该数据集，研究者开发了多种导航算法，如HA-VLN-VL和HA-VLN-CMA，这些算法在动态环境中表现出色。此外，HAPS 2.0还推动了模拟器的发展，如HA-VLN-CE和HA-VLN-DE，这些模拟器能够更真实地反映现实世界中的多人类交互场景，进一步推动了视觉与语言导航领域的研究进展。