SCOUT

SCOUT是由DEVCOM陆军研究实验室创建的多模态人机对话语料库，专注于协作探索任务领域。该数据集包含89,056条话语和310,095个单词，来自278个对话，平均每个对话320条话语。数据集创建过程中使用了Wizard-of-Oz实验方法，收集了5,785张图像和30张地图。SCOUT数据集的应用领域主要集中在自主人机对话系统，特别是在导航任务中，帮助机器人理解环境细节。

SCOUT is a multimodal human-machine dialogue corpus developed by the DEVCOM Army Research Laboratory, with a focus on the domain of collaborative exploration tasks. This dataset encompasses 89,056 utterances and 310,095 words spanning 278 dialogues, averaging 320 utterances per dialogue. The Wizard-of-Oz experimental methodology was employed during the dataset construction, during which 5,785 images and 30 maps were collected. The SCOUT dataset is primarily applied in the field of autonomous human-machine dialogue systems, specifically in navigation tasks to help robots understand environmental details.

原始信息汇总

ARL SCOUT: The Situated Corpus of Understanding Transactions

数据集概述

ARL SCOUT（Situated Corpus Of Understanding Transactions）是一个多模态的人机对话语料库，专注于协作探索任务领域。该语料库通过多阶段的Wizard-of-Oz实验构建，参与者通过远程机器人进行对话，指导机器人移动并收集环境信息。

数据内容

• 对话转录：包含人机对话的转录文本，与机器人根据指挥官请求拍摄的图像对齐。
• 对话结构：转录文本已标注对话结构，包括交易单元（TUs）、先行词和关系。
• 对话语义：部分话语已标注对话语义，包括标准AMR和对话AMR。
• 地图：部分地图已标注为探索地图，描绘对话结束时的LIDAR地图。

实验设计

• 实验阶段：实验分为四个阶段，从Wizard-of-Oz方法逐步过渡到自动化系统。
• 角色分工：实验中涉及指挥官、对话管理员（DM）和机器人导航员（RN）。
• 资源提供：指挥官拥有机器人、地图和照片三种资源。

数据文件结构

数据和标注文件按类型分为五个目录：

• Transcripts
• iSCOUT (images)
• Maps
• Dialogue Structure
• AMR (Dialogue Semantics)

引用

引用该数据集时，请使用以下文献：

@inproceedings{lukin2024scout, title = {{SCOUT: A Situated and Multi-Modal Human-Robot Dialogue Corpus}}, booktitle = {{The Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING)}}, author = {Lukin, Stephanie M., and Bonial, Claire N. and Marge, Matthew and Hudson, Taylor and Hayes, Cory J. and Pollard, Kimberly A. and Baker, Anthony and Foots, Ashley and Artstein, Ron and Gervits, Felix and Abrams, Mitchell and Henry, Cassidy and Donatelli, Lucia and Leuski, Anton and Hill, Susan G. and Traum, David and Voss, Clare R.}, year = {2024} }

许可证

ARL SCOUT采用Creative Commons Zero 1.0 Universal (CC0 1.0)许可证。

搜集汇总

数据集介绍

构建方式

SCOUT数据集通过多个Wizard-of-Oz实验构建，其中人类参与者通过远程控制机器人进行协作探索任务。实验中，参与者以指挥官的角色，通过语音指令指导机器人移动并收集环境信息。数据集包含了89,056条语音指令和310,095个词汇，以及5,785张图像和30张地图。这些数据通过Mumble软件记录，并使用Praat软件进行手动转录和时间戳标记，确保数据的准确性和可追溯性。

特点

SCOUT数据集的显著特点在于其多模态性和情境相关性。数据集不仅包含语音指令，还整合了图像和地图等多模态数据，这些数据与对话内容紧密关联，提供了丰富的情境信息。此外，数据集还进行了多种语言学注释，如抽象意义表示（AMR）和对话结构注释，这些注释有助于深入理解人类与机器人之间的对话动态和意图。

使用方法

SCOUT数据集可用于开发和评估自主人机对话系统，特别是在导航任务中。研究人员可以通过分析语音指令、图像和地图数据，以及相关的语言学注释，来训练和验证对话管理系统和机器人导航系统。数据集的公开发布旨在促进人机交互、对话系统和机器人技术领域的研究，为解决人类与机器人协作中的开放性问题提供数据支持。

背景与挑战

背景概述

SCOUT数据集，全称为Situated Corpus Of Understanding Transactions，由DEVCOM Army Research Laboratory主导开发，旨在研究多模态人机对话在协作探索任务中的应用。该数据集通过多个Wizard-of-Oz实验构建，参与者通过远程机器人进行环境探索并收集信息，共包含89,056条话语和310,095个单词，覆盖278次对话。SCOUT不仅记录了对话内容，还整合了实验过程中的多模态数据流，如5,785张图像和30张地图，并进行了抽象意义表示（AMR）和对话结构（Dialogue Structure）等注释，以支持自主人机对话系统的研究与发展。

当前挑战

SCOUT数据集面临的主要挑战包括：1) 人机对话的自然性和多样性，相较于传统的人人对话，人类对机器人的指令方式存在显著差异，这要求数据集能够捕捉并反映这种差异；2) 多模态数据的整合与同步，实验中涉及的图像、地图等多模态数据需要精确的时间对齐，以确保数据的一致性和可用性；3) 对话结构的复杂性，人机对话中涉及的意图识别、指令执行及反馈等环节需要精细的注释和分析，以支持对话系统的自主学习和优化。

常用场景

经典使用场景

SCOUT数据集的经典使用场景在于研究人机协作中的多模态对话。通过收集人类指挥官与远程机器人之间的自然语言指令，SCOUT提供了丰富的语料库，用于分析人类如何在与机器人协作探索任务中进行沟通。该数据集特别适用于开发和评估自主对话系统，尤其是在机器人导航和环境探索任务中，系统需要理解和执行复杂的指令。

衍生相关工作

基于SCOUT数据集，研究者们开发了多种自主对话和导航系统，如ScoutBot和MultiBot。这些系统利用数据集中的对话结构和意图标注，提升了机器人对复杂指令的理解和执行能力。此外，SCOUT还促进了多模态对话分析和计算机视觉技术的发展，推动了人机交互领域的创新研究。

数据集最近研究

最新研究方向

在人机交互领域，SCOUT数据集的最新研究方向主要集中在多模态对话系统的开发与优化。研究者们利用SCOUT数据集中的丰富对话和多模态数据，探索如何更有效地实现机器人与人类之间的自然语言交流。具体研究包括对话管理系统的自动化、意图识别与解析、以及对话结构分析，以提升机器人在复杂环境中的导航和任务执行能力。此外，SCOUT数据集还被用于研究人类在不同情境下与机器人交互的语言策略，以及这些策略如何影响任务的完成效率和用户体验。

相关研究论文

• SCOUT: A Situated and Multi-Modal Human-Robot Dialogue Corpus

  DEVCOM陆军研究实验室 · 2024年