Socially CompliAnt Navigation Dataset (SCAND)

SCAND是一个大规模的第一人称视角社会导航演示数据集，包含8.7小时、138条轨迹、25英里的社会合规性人类远程操作驾驶演示。数据集涵盖了多种数据流，包括3D激光雷达、操纵杆命令、里程计、视觉和惯性信息，由四名不同的人类演示者在室内和室外环境中收集。SCAND旨在通过模仿学习解决移动机器人在人类环境中导航的挑战，特别是在确保安全和舒适的人机共存方面。数据集不仅包含丰富的多模态现实世界数据，还包含每个轨迹上自然发生的社交互动的标签，适用于研究社会导航策略和学习社会合规的本地和全局导航策略。SCAND is a large-scale first-person perspective social navigation demonstration dataset, containing 8.7 hours, 138 trajectories, and 25 miles of socially compliant human teleoperated driving demonstrations. The dataset covers multiple data streams, including 3D LiDAR, joystick commands, odometry, visual and inertial data, collected by four distinct human demonstrators in both indoor and outdoor environments. SCAND aims to address the challenge of mobile robot navigation in human-centric environments via imitation learning, particularly in ensuring safe and comfortable human-robot coexistence. In addition to rich multimodal real-world data, the dataset also includes labels for naturally occurring social interactions on each trajectory, making it suitable for researching social navigation strategies and learning socially compliant local and global navigation strategies.

搜集汇总

数据集介绍

构建方式

SCAND数据集的构建方式独特，采用了人机协作的方式收集数据。研究人员招募了四位人类演示者，在德克萨斯大学奥斯汀分校的校园内，利用操纵杆远程操作两台形态不同的移动机器人——波士顿动力Spot和Clearpath Jackal。数据收集过程中，演示者始终保持在机器人后方约两米的距离，并避免与周围人群直接互动。数据收集涵盖了室内和室外环境，包括高峰时段的人流密集区域，如大学足球场附近。数据集包含8.7小时的驾驶演示，138条轨迹，总计25英里的行驶里程。数据采集设备包括3D激光雷达、操纵杆指令、里程计、视觉信息和惯性信息，为机器人的社会导航行为提供了丰富的多模态数据。

特点

SCAND数据集具有以下显著特点：首先，它是一个大规模的、第一人称视角的社会导航演示数据集，包含真实世界中的自然交互场景。其次，数据集包含多模态数据流，包括3D激光雷达、操纵杆指令、里程计、视觉和惯性信息，为研究提供了全面的数据支持。此外，数据集还包含对每条轨迹中自然发生的社会交互的标签，共12种不同的社会交互标签，如逆行、顺行、过马路、超车等，为研究特定社会导航场景提供了便利。最后，SCAND数据集采用了两台形态不同的机器人进行数据收集，Spot机器人的腿部设计使其能够选择楼梯等路径，而Jackal机器人则可能选择斜坡，从而展示了不同形态机器人之间的社会交互差异。

使用方法

SCAND数据集的使用方法多样，主要应用于以下方面：首先，通过演示者分类任务，可以研究机器人社会导航的不同策略，并验证社会导航行为的多策略性。其次，利用行为克隆算法，可以学习到符合社会规范的全局和局部导航策略，并通过真实世界的机器人实验验证其有效性。此外，SCAND数据集还可以用于轨迹预测、轨迹分类和逆强化学习等研究，为机器人社会导航领域提供更多可能性。为了方便研究人员使用，SCAND数据集以公开的方式发布，并提供了详细的文档和数据格式说明，便于研究人员进行数据处理和分析。

背景与挑战

背景概述

社交导航是指自主代理（例如机器人）在存在其他智能代理（如人类）的情况下，以“社交合规”的方式进行导航的能力。随着自主导航移动机器人在人类环境中（例如家庭和餐馆中的家用服务机器人以及公共人行道上的外卖机器人）的出现，在这些机器人上实现社交合规的导航行为变得至关重要，以确保人机共存的安全和舒适。为了应对这一挑战，模仿学习是一个有前景的框架，因为与制定准确捕捉社交导航复杂多目标设置的奖励函数相比，人类演示社交导航任务更容易。然而，目前使用模仿学习和逆强化学习来解决移动机器人的社交导航问题受到缺乏大规模数据集的限制，这些数据集能够捕捉到在野外环境中社交合规的机器人导航演示。为了填补这一空白，我们引入了社交合规导航数据集（SCAND）——一个大型、第一人称视角的社交合规导航演示数据集。我们的数据集包含8.7小时、138条轨迹、25英里的社交合规、人类远程操作驾驶演示，包括3D激光雷达、操纵杆命令、里程计、视觉和惯性信息等多模态数据流，这些数据是在两种形态不同的移动机器人——波士顿动力Spot和Clearpath Jackal上，由四名不同的人类演示者在室内和室外环境中收集的。此外，我们还通过真实世界的机器人实验进行了初步分析和验证，并表明，在SCAND上通过模仿学习学习的导航策略能够产生社交合规的导航行为。

当前挑战

社交导航数据集面临的挑战包括：1）社交导航领域问题的挑战，例如如何使机器人能够在社交环境中安全、舒适地导航，并与其他智能代理（如人类）进行有效互动；2）构建数据集过程中所遇到的挑战，例如如何在野外环境中收集到大规模、多样化的社交导航演示数据，并确保数据的真实性和可靠性。

常用场景

经典使用场景

SCAND 数据集被广泛用于研究社会导航问题，特别是在移动机器人领域。该数据集提供了大量真实场景下的社会导航演示，包括 8.7 小时、138 个轨迹、25 英里的数据，涵盖了多种社会交互场景。研究者可以利用这些数据学习社会导航策略，并评估不同算法的性能。SCAND 数据集的经典使用场景包括：1) 学习社会导航策略，例如使用行为克隆算法训练全局和局部规划器；2) 研究社会导航中的策略多样性，例如使用神经网络分类器区分不同演示者的导航风格；3) 评估社会导航算法的性能，例如使用人类参与者评估学习到的本地规划器的社会合规性和安全性。

解决学术问题

SCAND 数据集解决了社会导航研究中缺乏大规模数据集的问题。现有数据集要么场景受限，要么仅限于室内环境，而 SCAND 数据集涵盖了真实世界中的多种社会交互场景，并提供了多模态传感器数据和标签化的社会交互信息。这使得研究者能够更好地理解社会导航问题，并开发更有效的算法。SCAND 数据集的意义和影响在于：1) 提供了大规模的真实世界数据，有助于社会导航算法的研究和评估；2) 推动了社会导航策略多样性的研究，揭示了不同演示者之间的差异；3) 为社会导航算法的性能评估提供了基准。

衍生相关工作

SCAND 数据集衍生了许多相关的经典工作，例如：1) 使用 SCAND 数据集训练行为克隆算法，学习社会导航策略；2) 使用神经网络分类器分析 SCAND 数据集，研究社会导航策略多样性；3) 使用人类参与者评估 SCAND 数据集训练的本地规划器的性能。这些相关工作推动了社会导航领域的研究进展，并为未来研究提供了基础。