WOMD-Reasoning

WOMD-Reasoning是由UC Berkeley和UT Austin联合开发的一个大型语言数据集，基于Waymo Open Motion Dataset构建，专注于驾驶场景中的交互和意图描述。该数据集包含约300万个Q&A对，涵盖了多种驾驶相关主题，如场景描述、预测和规划。数据集的创建过程结合了自动化数据管理流程和人工验证，确保了数据的高质量和准确性。WOMD-Reasoning主要应用于自动驾驶领域，旨在提升自动驾驶系统对复杂交互和人类意图的理解能力。

WOMD-Reasoning is a large-scale language dataset co-developed by UC Berkeley and UT Austin, built upon the Waymo Open Motion Dataset, with a focus on interaction and intention description in driving scenarios. This dataset contains approximately 3 million Q&A pairs, covering a wide range of driving-related topics including scenario description, prediction, and planning. The dataset was constructed through a combination of automated data management workflows and manual validation, ensuring high data quality and accuracy. WOMD-Reasoning is primarily applied in the field of autonomous driving, aiming to enhance the ability of autonomous driving systems to understand complex interactions and human intentions.

原始信息汇总

Waymo Open Dataset 数据集概述

数据集描述

• 名称: Waymo Open Dataset
• 描述: 下载 Waymo Open Dataset

相关信息

• 网站: Waymo Open Dataset 下载页面

搜集汇总

数据集介绍

构建方式

WOMD-Reasoning数据集的构建基于WOMD†，通过一系列自动化流程将运动数据转化为语言描述，并利用ChatGPT-4进行交互分析和推理，最终形成问答对。首先，通过基于规则的程序将运动数据（包括轨迹和高精度地图）转化为语言描述，确保GPT能够有效处理。接着，设计一系列提示词，利用ChatGPT-4的分析能力生成交互分析和推理，并将结果整理成问答格式。整个过程实现了高度自动化，并经过人工验证，保证了数据集的质量。

特点

WOMD-Reasoning数据集的特点在于其大规模、真实世界驾驶场景的覆盖以及丰富的交互和意图信息。数据集包含约3百万个问答对，涵盖了从地图描述、运动状态描述到交互行为和意图分析等多个方面，为自动驾驶相关的大型语言模型（LLMs）提供了丰富的训练数据。此外，WOMD-Reasoning还特别关注由交通规则和人类意图引起的交互，这些交互往往发生在较远的距离，对预测或规划模型的理解更具挑战性。因此，WOMD-Reasoning为自动驾驶领域提供了更为全面和深入的交互分析，有助于提升LLMs在驾驶场景中的理解和推理能力。

使用方法

WOMD-Reasoning数据集的使用方法主要包括以下几个方面：1. 用于训练场景描述模型，通过学习地图环境、运动状态等信息，提升场景描述的准确性和全面性。2. 用于训练预测模型，通过分析交互和意图，提高车辆轨迹预测的准确率。3. 用于训练规划模型，通过理解交互和意图，优化自动驾驶系统的决策过程。使用WOMD-Reasoning数据集时，可以根据具体任务需求选择相应的问答对进行训练，以达到最佳效果。

背景与挑战

背景概述

WOMD-Reasoning数据集是由UC Berkeley和UT Austin的研究团队创建的，旨在描述和推理驾驶场景中的交互和意图。该数据集基于Waymo Open Motion Dataset (WOMD)，重点关注由于交通规则和人类意图引起的交互，这些交互可能在长距离发生，对预测或规划模型的理解更具挑战性。WOMD-Reasoning提供了409k个问答，涵盖了各种类型的交互，并包含了约300万个问答，涵盖了自动驾驶的各种主题，如地图描述、运动状态描述、代理交互、行为和意图的叙述和分析。这些丰富的文本信息使得可以微调与驾驶相关的LLMs，用于场景描述、预测、规划等广泛应用。通过引入WOMD-Reasoning中的交互和意图语言，我们看到最先进的轨迹预测模型Multipath++的性能得到了显著提升，MR6提高了10.14%，minFDE6提高了6.90%，证明了WOMD-Reasoning的有效性。我们希望WOMD-Reasoning能够赋能LLMs在驾驶中提供更好的交互理解和行为推理。

当前挑战

WOMD-Reasoning数据集面临的挑战主要包括：1)解决领域问题：现有的语言数据集主要捕捉由近距离引起的交互，而由交通规则和人类意图引起的交互，尽管非常常见，但尚未得到充分覆盖，这对预测或规划模型来说更具挑战性。2)构建过程中的挑战：为了减少人工劳动，WOMD-Reasoning采用了基于提示的ChatGPT和基于规则的翻译器，将运动数据转换为语言描述，并生成问答对。然而，这种自动化的数据收集过程可能引入了误差，需要进一步的人工验证和校正。此外，由于WOMD-Reasoning的数据来源于WOMD，因此它也继承了WOMD的局限性，例如原始摄像头数据尚未公开发布，限制了WOMD-Reasoning在视频问答中的应用。

常用场景

经典使用场景

WOMD-Reasoning数据集在自动驾驶领域被广泛应用于场景描述、预测和规划任务中。通过对真实世界驾驶场景的文本描述，该数据集能够帮助自动驾驶系统更好地理解和分析车辆交互和行为。例如，在使用WOMD-Reasoning进行场景描述时，系统可以准确地描述地图环境、车辆状态、交通规则等信息，从而为后续的预测和规划任务提供基础。在预测任务中，WOMD-Reasoning可以帮助系统预测车辆的运动轨迹，从而实现更安全的自动驾驶。在规划任务中，WOMD-Reasoning可以帮助系统根据车辆交互和行为进行路径规划，从而实现更高效的自动驾驶。

实际应用

WOMD-Reasoning数据集在实际应用中具有广泛的应用场景。例如，在自动驾驶汽车中，WOMD-Reasoning可以帮助系统更好地理解和分析车辆交互和行为，从而实现更安全的自动驾驶。此外，WOMD-Reasoning还可以用于智能交通系统的规划和管理，例如，通过分析车辆交互和行为，系统可以优化交通信号灯的控制，从而提高交通效率。此外，WOMD-Reasoning还可以用于驾驶模拟器的开发，例如，通过使用WOMD-Reasoning中的场景描述和交互分析，开发者可以创建更逼真的驾驶模拟器。

衍生相关工作

WOMD-Reasoning数据集的提出和构建，推动了自动驾驶领域相关研究的进展。例如，一些研究利用WOMD-Reasoning进行车辆轨迹预测模型的训练和评估，取得了显著的性能提升。此外，一些研究还利用WOMD-Reasoning进行自动驾驶系统的交互分析和行为推理，从而提高了自动驾驶系统的性能和安全性。此外，WOMD-Reasoning还为自动驾驶领域的语言模型研究提供了重要的数据资源，有助于推动语言模型在自动驾驶领域的应用和发展。