Argoverse 2 (AV2)

Argoverse 2 (AV2) 是由Argo AI创建的一套三个数据集，专为自动驾驶领域的感知和预测研究设计。传感器数据集包含1000个多模态数据序列，包括高分辨率图像和激光雷达点云，支持3D感知模型的训练和评估。激光雷达数据集包含20,000个未标记的激光雷达点云序列，支持自监督学习和点云预测。运动预测数据集包含250,000个场景，用于预测自动驾驶车辆与其他动态对象的交互。这些数据集覆盖了六个不同的城市，提供了丰富的地理多样性和挑战性场景，旨在推动机器学习在自动驾驶领域的研究。

Argoverse 2 (AV2) is a collection of three datasets developed by Argo AI, specifically tailored for perception and prediction research in the autonomous driving domain. The sensor dataset consists of 1,000 multimodal data sequences including high-resolution images and LiDAR point clouds, which supports the training and evaluation of 3D perception models. The LiDAR dataset contains 20,000 unlabeled LiDAR point cloud sequences, enabling self-supervised learning and point cloud prediction tasks. The motion prediction dataset encompasses 250,000 scenarios for forecasting interactions between autonomous vehicles and other dynamic objects. These datasets cover six distinct cities, providing rich geographic diversity and challenging scenarios, with the goal of advancing machine learning research in the autonomous driving field.

搜集汇总

数据集介绍

构建方式

在自动驾驶感知与预测领域，Argoverse 2 (AV2) 数据集的构建遵循了精心设计的指导原则。该数据集由三个独立子集组成：传感器数据集包含1000个多模态数据序列，通过七台环视摄像头和两台立体摄像头采集高分辨率图像，并结合激光雷达点云与六自由度位姿信息，同时为26个物体类别提供三维立方体标注；激光雷达数据集包含20000个未标注的激光雷达点云序列，专注于支持自监督学习与点云预测任务；运动预测数据集则从六个不同城市的驾驶日志中挖掘出250000个具有挑战性的交互场景，每个场景均附带高精度地图，涵盖三维车道与行人过街区域几何信息。所有数据均经过严格筛选，以确保场景的动态性、多样性与复杂性。

特点

Argoverse 2 数据集在多个维度上展现出显著特点。其传感器数据集拥有迄今自动驾驶领域最丰富的物体分类体系，涵盖30个类别，其中26类具备充足的标注样本，支持三维感知模型的训练与评估；独特的立体视觉数据为深度估计研究提供了宝贵资源。激光雷达数据集规模空前，包含20000个序列，采样频率高达10赫兹，适用于点云时序演化分析。运动预测数据集不仅覆盖了广泛的动态与静态参与者类型，还通过启发式评分机制筛选出具有高度交互复杂性的场景，确保了数据在长尾分布上的代表性。所有子集均配备详细的高清地图，包含三维车道边界、可行驶区域向量描述及地面高度信息，为模型提供了强大的环境先验。

使用方法

研究人员可通过官方提供的API便捷地访问与处理Argoverse 2 数据集。传感器数据集适用于三维物体检测、多目标跟踪、立体视觉深度估计等任务，其标注信息支持监督学习框架。激光雷达数据集可用于自监督表示学习、点云预测等前沿课题，通过大规模未标注点云序列探索点云动态建模。运动预测数据集则专注于轨迹预测问题，提供历史轨迹与高清地图作为输入，要求模型预测特定参与者的未来运动状态；该数据集支持多智能体评估，并包含训练、验证与测试的标准划分。所有数据均以标准化格式存储，附有详细的元数据与坐标变换参数，便于集成到现有机器学习流程中。

背景与挑战

背景概述

Argoverse 2（AV2）作为自动驾驶领域新一代数据集，由Argo AI研究团队于2021年推出，旨在推动感知与预测任务的机器学习研究。该数据集包含传感器数据集、激光雷达数据集和运动预测数据集三个子集，覆盖了六个不同城市的多样化驾驶场景，如奥斯汀、底特律和迈阿密等。其核心研究问题聚焦于三维物体检测、运动预测和点云预测等关键任务，通过提供高分辨率多模态数据和高清地图，显著提升了模型在复杂动态环境中的泛化能力。AV2不仅延续了Argoverse系列在数据规模与质量上的优势，更通过精细的场景挖掘和丰富的物体分类，为学术界和工业界提供了前所未有的研究平台，对自动驾驶技术的发展产生了深远影响。

当前挑战

Argoverse 2面临的挑战主要体现在两个方面：首先，在领域问题层面，自动驾驶感知与预测任务需应对长尾分布中的罕见物体（如轮椅、手推车等）检测与行为预测，这些物体样本稀缺且行为模式复杂，增加了模型训练的难度；同时，多模态数据融合（如激光雷达与立体相机）要求算法在时空同步精度和异构信息整合上达到更高标准。其次，在构建过程中，数据采集需平衡规模与质量，避免因数据量过大而影响学术可及性；场景挖掘需通过启发式算法筛选具有挑战性的交互行为，确保数据集的多样性和代表性；此外，高清地图的构建与标注涉及复杂的三维几何信息处理，对数据一致性和准确性提出了严峻考验。

常用场景

经典使用场景

在自动驾驶感知与预测领域，Argoverse 2数据集凭借其多模态传感器数据与高精度地图信息，为三维物体检测与运动预测任务提供了经典的应用场景。该数据集包含1000个标注序列，涵盖七路环视摄像头、立体视觉摄像头及激光雷达点云，结合三维车道几何与交叉路口信息，支持模型在复杂城市环境中进行端到端的训练与评估。其精心筛选的动态场景与多样化物体类别，使得研究者能够深入探索感知系统在拥挤、多变交通情境下的鲁棒性表现。

衍生相关工作

基于Argoverse 2数据集，学术界衍生出一系列经典研究工作，例如在三维检测领域涌现的CenterPoint、BEVFusion等先进模型，这些方法充分利用数据集的丰富标注与多传感器信息。在运动预测方面，WIMP、GANet等图注意力机制与向量化表示方法，借助数据集的高精度地图与交互场景实现了预测精度的显著提升。同时，该数据集还激发了点云预测、高清地图自动化等新兴方向的研究，为自动驾驶系统的整体技术演进提供了持续动力。

数据集最近研究

最新研究方向

在自动驾驶感知与预测领域，Argoverse 2数据集正推动多项前沿研究。其传感器数据集凭借涵盖26个类别的丰富三维标注，促进了长尾目标检测与多模态融合模型的探索，特别是在罕见物体如轮椅、婴儿车等类别上的性能优化成为热点。运动预测数据集通过挖掘复杂交互场景，推动了基于注意力机制的图神经网络与向量化地图表示方法的发展，以应对多智能体、长时程预测的挑战。同时，激光雷达数据集作为规模最大的点云自监督学习资源，正激发点云预测与时空表征学习的新方向，为动态场景下的无监督感知提供关键支撑。这些研究不仅提升了模型在真实复杂环境中的泛化能力，也为安全可靠的自动驾驶系统奠定了数据基础。

相关研究论文

• Argoverse 2: Next Generation Datasets for Self-Driving Perception and Forecasting

  Argo AI · 2023年