V2V-QA

V2V-QA数据集是由NVIDIA和卡内基梅隆大学合作创建的，旨在支持大型语言模型在合作自动驾驶中的研究和评估。该数据集在V2V4Real的基础上构建，包含18,000个帧，共有577,000个问答对，涵盖定位、显著物体识别和规划任务。数据集通过车辆间的感知信息共享，提出了新的合作自动驾驶场景下的问答任务，以评估模型在融合多车感知信息和回答驾驶安全相关问题的能力。

The V2V-QA dataset was collaboratively developed by NVIDIA and Carnegie Mellon University to support research and evaluation of large language models (LLMs) in cooperative autonomous driving scenarios. Built upon the V2V4Real dataset, it contains 18,000 frames and a total of 577,000 question-answer pairs, covering localization, salient object recognition, and planning tasks. By leveraging inter-vehicle perception information sharing, this dataset proposes novel question-answering tasks under cooperative autonomous driving scenarios, aiming to evaluate models' capability to fuse multi-vehicle perception information and answer driving safety-related questions.

搜集汇总

数据集介绍

构建方式

V2V-QA数据集是在V2V4Real合作感知数据集的基础上构建的，该数据集收集了两辆车同时行驶时使用激光雷达传感器获取的数据。V2V-QA数据集包括场景级特征图和对象级特征向量，以及3D边界框标注。此外，V2V-QA数据集还包含5种类型的问答对，包括3种类型的定位问题、1种类型的重要对象识别问题和1种类型的规划问题。这些问题和答案旨在评估不同模型在融合感知信息并回答与驾驶安全相关的关键问题方面的性能。

特点

V2V-QA数据集的特点是它支持多辆连接的自动驾驶汽车（CAV）在合作驾驶场景中进行问答。与其他基于LLM的QA数据集相比，V2V-QA的问答对数量更多，每帧平均有31.7个问答对。此外，V2V-QA数据集涵盖了城市和高速公路驾驶场景，这使得该数据集更加全面和具有挑战性。V2V-QA数据集的问答对包括定位、重要对象识别和规划任务，这些任务对于自动驾驶系统的整体性能至关重要。

使用方法

V2V-QA数据集可用于研究和评估基于LLM的合作自动驾驶算法。研究者可以使用该数据集来训练和测试他们的模型，以评估模型在融合感知信息和回答与驾驶安全相关的关键问题方面的性能。为了使用V2V-QA数据集，研究者需要将数据集中的场景级特征图和对象级特征向量作为视觉输入，将问题作为语言输入，并生成自然语言答案作为输出。V2V-QA数据集的评估指标包括F1分数、精确度、召回率、L2误差和碰撞率。研究者可以使用这些指标来评估他们的模型在不同任务上的性能，并与其他基线方法进行比较。

背景与挑战

背景概述

V2V-QA数据集是用于支持端到端协同自动驾驶研究的大型语言模型（LLM）方法的开发与评估。该数据集由NVIDIA和卡内基梅隆大学的研究人员创建，旨在解决自动驾驶车辆在传感器故障或遮挡情况下感知周围环境并规划未来轨迹的可靠性问题。V2V-QA数据集通过车辆到车辆（V2V）通信的方式，将多辆连接式自动驾驶车辆（CAV）的感知信息融合，以回答驾驶相关的定位、显著物体识别和规划问题。该数据集的创建为协同自动驾驶领域的研究提供了新的方向，有望提高未来自动驾驶系统的安全性。

当前挑战

V2V-QA数据集面临的挑战主要包括：1）如何有效地融合来自多辆CAV的感知信息，以生成更准确的检测结果；2）如何在协同驾驶场景中实现安全的规划，避免潜在碰撞；3）如何降低数据融合过程中的通信成本，使其更适用于实际部署。

常用场景

经典使用场景

V2V-QA数据集主要用于支持基于大型语言模型（LLM）的协作式自动驾驶系统的开发与评估。在自动驾驶领域，车辆需要依赖其传感器来感知周围环境并规划未来轨迹。然而，当传感器出现故障或被遮挡时，这种依赖可能会变得不可靠。V2V-QA数据集通过车辆间的通信（V2V）来解决这个问题，允许多个连接的自动驾驶车辆（CAV）共享其感知信息，并通过一个集中的LLM节点进行融合，从而生成更准确的检测和规划结果。这使得V2V-QA数据集成为研究协作式自动驾驶系统中LLM方法的重要资源。

解决学术问题

V2V-QA数据集解决了自动驾驶领域中的一个关键问题：如何在传感器故障或遮挡的情况下，通过协作感知来提高自动驾驶车辆的安全性和可靠性。传统的自动驾驶车辆依赖单个车辆的传感器，而在V2V-QA数据集中，多个车辆通过V2V通信共享感知信息，LLM节点将这些信息进行融合，从而提高了感知的准确性和可靠性。这对于提高自动驾驶车辆的安全性和可靠性具有重要意义。

衍生相关工作

V2V-QA数据集的提出为协作式自动驾驶领域的研究开辟了新的方向。基于V2V-QA数据集，研究人员可以探索如何利用LLM进行更复杂的感知和规划任务，例如多目标跟踪、路径规划、交通预测等。此外，V2V-QA数据集还可以用于研究车辆间通信的优化策略，以减少通信成本和提高通信效率。