V2X-Seq

V2X-Seq是由清华大学智能产业研究院推出的首个大规模连续V2X数据集，专注于车辆与基础设施协同感知与预测。该数据集包含超过15,000帧的数据，涵盖了95个场景，包括基础设施和车辆侧的图像、点云、3D检测/跟踪标注及矢量地图。此外，还有约210,000个场景用于轨迹预测，这些数据来自28个交叉口区域，总计672小时的数据。V2X-Seq旨在通过车辆与基础设施的协同，解决自动驾驶中的感知和预测问题，为车辆-基础设施协同自动驾驶社区提供了一个理想的研究和测试平台。

V2X-Seq is the first large-scale sequential V2X dataset developed by the Institute for AI Industry Research (AIR) of Tsinghua University, focusing on vehicle-infrastructure cooperative perception and prediction. This dataset comprises over 15,000 frames of data across 95 scenarios, including images, point clouds, 3D detection and tracking annotations, as well as vector maps from both infrastructure and vehicle sides. In addition, approximately 210,000 scenarios for trajectory prediction are collected from 28 intersection areas, totaling 672 hours of data. V2X-Seq aims to solve perception and prediction challenges in autonomous driving through vehicle-infrastructure collaboration, providing an ideal research and testing platform for the vehicle-infrastructure cooperative autonomous driving community.

搜集汇总

数据集介绍

构建方式

V2X-Seq数据集的构建方式主要包括数据采集、标注和场景选择。数据采集过程中，利用车辆和基础设施的传感器，以10Hz的频率捕获了95个场景的超过15,000帧图像和点云数据，以及672小时的轨迹数据。数据标注方面，提供了3D跟踪标注、轨迹预测标注以及矢量地图和交通灯信号数据。场景选择方面，涵盖了28个交叉口的区域，包括车辆视角、基础设施视角和合作视角，以适应不同的交通环境和需求。

使用方法

V2X-Seq数据集的使用方法主要包括以下步骤：1）数据准备：下载V2X-Seq数据集，并根据需要选择相应的数据子集；2）数据预处理：对数据进行清洗、归一化等预处理操作，以适应不同的算法模型；3）模型训练：利用V2X-Seq数据集训练轨迹跟踪、轨迹预测等算法模型；4）模型评估：利用V2X-Seq数据集评估模型性能，并进行优化和改进。

背景与挑战

背景概述

在自动驾驶领域，单车的自动驾驶技术已经取得了显著的进步。然而，由于感知范围有限，无法准确预测交通参与者的行为，单车自动驾驶仍然面临重大的安全挑战。为了解决这些挑战，研究人员开始探索利用基础设施信息通过车辆到一切（V2X）通信来扩大感知范围并增强自动驾驶安全性。为了加速对协同感知和预测的研究，清华大学人工智能产业研究院（AIR）的研究团队发布了V2X-Seq数据集，这是第一个大规模的序列V2X数据集，包括从自然场景中捕获的数据帧、轨迹、矢量地图和交通灯信号。该数据集由两部分组成：序列感知数据集，包含超过15,000个从95个场景中捕获的帧，以及轨迹预测数据集，包含约80,000个基础设施视图场景、80,000个车辆视图场景和50,000个合作视图场景，这些场景是从28个交叉口的区域捕获的，覆盖672小时的数据。基于V2X-Seq数据集，研究人员提出了三个新的任务：VIC3D跟踪、在线VIC预测和离线VIC预测，并为这些任务提供了基准。V2X-Seq数据集的发布为车辆基础设施协同自动驾驶的研究提供了宝贵的资源。

当前挑战

V2X-Seq数据集面临的挑战包括：1)解决领域问题：该数据集旨在解决自动驾驶中单车感知范围有限、无法准确预测交通参与者行为的问题。2)构建过程中的挑战：在构建过程中，研究人员需要克服数据收集、标注和融合过程中的技术难题，以及解决通信延迟导致的融合误差问题。为了解决这些挑战，研究人员提出了FF-Tracking框架，该框架基于特征流预测，能够有效地解决VIC3D跟踪任务中的延迟挑战，并提高整体效率。

常用场景

经典使用场景

在智能交通领域，V2X-Seq数据集为车辆与基础设施协同感知与预测提供了丰富的数据支持。其包含的序列感知数据和轨迹预测数据，为研究车辆与基础设施如何协同工作以改善自动驾驶决策提供了宝贵的资源。例如，利用V2X-Seq数据集，研究人员可以训练和测试车辆与基础设施协同的三维跟踪、在线轨迹预测和离线轨迹预测等算法，从而提升自动驾驶车辆在复杂交通环境中的感知和预测能力。

解决学术问题

V2X-Seq数据集解决了自动驾驶领域长期存在的感知和预测问题。传统自动驾驶主要依赖单车辆的感知，其感知范围和预测准确性有限，而V2X-Seq数据集提供了车辆和基础设施协同感知的数据，有效扩展了感知范围，提高了预测准确性。此外，V2X-Seq数据集还引入了新的研究任务，如VIC3D Tracking、Online-VIC Forecasting和Offline-VIC Forecasting，为自动驾驶领域的研究提供了新的方向和思路。

实际应用

V2X-Seq数据集在实际应用中具有广泛的前景。例如，在交通信号控制、车辆轨迹预测和交通事故预防等方面，V2X-Seq数据集可以帮助研究人员开发更先进的算法，从而提高交通系统的运行效率和安全性。此外，V2X-Seq数据集还可以用于自动驾驶车辆的测试和评估，帮助车辆制造商和软件开发商提高自动驾驶系统的性能和可靠性。

数据集最近研究

最新研究方向

在自动驾驶领域，V2X-Seq数据集代表了车辆与基础设施协同感知和预测的新篇章。该数据集通过收集真实世界中的大规模序列数据，包括数据帧、轨迹、矢量地图和交通灯信号，为研究车辆与基础设施协同（VIC）自动驾驶提供了宝贵的资源。基于V2X-Seq数据集，研究者们提出了三个新的VIC自动驾驶任务：VIC3D跟踪、在线-VIC轨迹预测和离线-VIC轨迹预测。这些任务旨在利用基础设施信息来提高自动驾驶车辆的感知和预测能力，从而提升自动驾驶的安全性。此外，V2X-Seq数据集的发布还推动了车辆与基础设施协同感知和预测算法的开发和测试，为自动驾驶领域带来了新的研究方向和挑战。

相关研究论文

• V2X-Seq: A Large-Scale Sequential Dataset for Vehicle-Infrastructure Cooperative Perception and Forecasting

  清华大学人工智能产业研究院 · 2023年