WHALES

WHALES数据集由清华大学开发，使用CARLA模拟器生成，专注于自动驾驶中的多智能体协同感知。数据集包含70K RGB图像、17K LiDAR帧和2.01M 3D边界框注释，涵盖多种道路场景。创建过程中，通过优化模拟速度和计算成本，实现了每驾驶序列平均8.4个智能体的记录。该数据集主要用于解决自动驾驶中的遮挡和感知范围有限的问题，支持V2V和V2I感知任务，推动合作感知技术的发展。

The WHALES dataset was developed by Tsinghua University and generated using the CARLA simulator, focusing on multi-agent collaborative perception in autonomous driving. It contains 70K RGB images, 17K LiDAR frames, and 2.01 million 3D bounding box annotations, covering a wide range of road scenarios. During its development, the simulation speed and computational cost were optimized, achieving an average of 8.4 agents per driving sequence. This dataset is primarily designed to address the challenges of occlusion and limited perception range in autonomous driving, supporting V2V and V2I perception tasks and advancing the development of cooperative perception technologies.

原始信息汇总

WHALES 数据集概述

数据集简介

WHALES（Wireless Enhanced Autonomous vehicles with Large number of Engaged agents）是一个由CARLA模拟器生成的自动驾驶数据集，旨在解决单系统感知范围有限和遮挡问题。该数据集平均每驾驶序列包含8.4个代理，提供了大规模的代理和视角，并记录了代理行为，支持多任务合作感知。

数据集特点

• 代理数量：平均每驾驶序列包含8.4个代理，是目前自动驾驶数据集中代理数量最多的。
• 任务支持：支持多任务合作感知，包括感知和规划任务。
• 传感器配置：包括LiDAR和摄像头，提供丰富的感知数据。

数据集比较

数据集	年份	真实/模拟	V2X	图像	点云	3D标注	类别	平均代理数
KITTI	2012	真实	否	15k	15k	200k	8	1
nuScenes	2019	真实	否	1.4M	400k	1.4M	23	1
DAIR-V2X	2021	真实	V2V&I	39k	39k	464k	10	2
V2X-Sim	2021	模拟	V2V&I	0	10k	26.6k	2	2
OPV2V	2022	模拟	V2V	44k	11k	230k	1	3
DOLPHINS	2022	模拟	V2V&I	42k	42k	293k	3	3
V2V4Real	2023	真实	V2V	40k	20k	240k	5	2
WHALES (Ours)	2024	模拟	V2V&I	70k	17k	2.01M	3	8.4

代理类别

代理位置	代理类别	传感器配置	规划与控制	任务	生成位置
在路上	不受控CAV	LiDAR × 1 + 摄像头 × 4	CARLA自动驾驶	感知	随机，确定性
在路上	受控CAV	LiDAR × 1 + 摄像头 × 4	RL算法	感知与规划	随机，确定性
路边	RSU	LiDAR × 1 + 摄像头 × 4	RL算法	感知与规划	静态
任意位置	障碍物代理	无传感器	CARLA自动驾驶	无任务	随机

实验结果

单系统3D目标检测基准（50m/100m）

方法	$ ext{AP}_{Veh}uparrow$	$ ext{AP}_{Ped}uparrow$	$ ext{AP}_{Cyc}uparrow$	$mAPuparrow$	$mATEdownarrow$	$mASEdownarrow$	$mAOEdownarrow$	$mAVEdownarrow$	$NDSuparrow$
Pointpillars	67.1/41.5	38.0/6.3	37.3/11.6	47.5/19.8	0.117/0.247	0.876/0.880	1.069/1.126	1.260/1.625	33.8/18.6
SECOND	58.5/38.8	27.1/12.1	24.1/12.9	36.6/21.2	0.106/0.156	0.875/0.878	1.748/1.729	1.005/1.256	28.5/20.3
RegNet	66.9/42.3	38.7/8.4	32.9/11.7	46.2/20.8	0.119/0.240	0.874/0.881	1.079/1.158	1.231/1.421	33.2/19.2
VoxelNeXt	64.7/42.3	52.2/27.4	35.9/9.0	50.9/26.2	0.075/0.142	0.877/0.877	1.212/1.147	1.133/1.348	36.0/22.9

合作3D目标检测基准（50m/100m）

方法	$ ext{AP}_{Veh}uparrow$	$ ext{AP}_{Ped}uparrow$	$ ext{AP}_{Cyc}uparrow$	$mAPuparrow$	$mATEdownarrow$	$mASEdownarrow$	$mAOEdownarrow$	$mAVEdownarrow$	$NDSuparrow$
No Fusion	67.1/41.5	38.0/6.3	37.3/11.6	47.5/19.8	0.117/0.247	0.876/0.880	1.069/1.126	1.260/1.625	33.8/18.6
F-Cooper	75.4/52.8	50.1/9.1	44.7/20.4	56.8/27.4	0.117/0.205	0.874/0.879	1.074/1.206	1.358/1.449	38.5/22.9
Raw-level Fusion	71.3/48.9	38.1/8.5	40.7/16.3	50.0/24.6	0.135/0.242	0.875/0.882	1.062/1.242	1.308/1.469	34.9/21.1
*VoxelNeXt	71.5/50.6	60.1/35.4	47.6/21.9	59.7/35.9	0.085/0.159	0.877/0.878	1.070/1.204	1.262/1.463	40.2/27.6

不同调度策略下的mAP分数（50m/100m）

推理训练	No Fusion	Closest Agent	Single Random	Multiple Random	Full Communication
No Fusion	50.9/26.2	50.9/23.3	51.3/25.3	50.3/22.9	45.6/18.8
Closest Agent	39.9/20.3	58.4/30.2	58.3/32.6	57.7/30.5	55.4/10.8
Single Random	43.3/22.8	57.9/31.0	58.4/33.3	57.7/31.4	55.0/14.6
MASS	55.5/11.0	58.8/33.7	58.9/34.0	57.3/32.3	54.1/27.4
Historical Best	54.8/29.6	58.6/31.7	58.9/34.0	58.3/32.6	54.1/27.4
Multiple Random	34.5/16.9	60.7/35.1	61.2/37.1	61.4/36.4	58.8/12.9
Full Communication	29.1/10.5	63.7/38.4	64.0/39.9	64.7/41.3	65.1/39.2

搜集汇总

数据集介绍

构建方式

WHALES数据集通过CARLA模拟器构建，旨在解决自动驾驶系统中的遮挡和感知范围有限的问题。该数据集生成了大量多代理的驾驶序列，平均每个序列包含8.4个代理，超越了现有数据集的规模。通过优化CARLA的模拟速度和计算成本，WHALES数据集能够在处理大量代理时保持高效的模拟性能。此外，数据集还记录了代理的行为信息，为合作感知任务提供了丰富的数据支持。

使用方法

WHALES数据集适用于多种自动驾驶任务，包括独立和合作的三维物体检测以及代理调度。研究者可以使用MMDetection3D框架来实现和评估模型性能。数据集提供了详细的基准测试和基线模型，便于研究者快速上手并进行实验。通过集成多种调度算法，WHALES数据集支持研究者在多代理环境中探索和优化调度策略，从而提升自动驾驶系统的整体性能和安全性。

背景与挑战

背景概述

在自动驾驶技术的快速发展中，实现高水平的交通安全和可靠性仍然是一个关键挑战，特别是在单个系统中由于遮挡和有限的感知范围。协作感知作为一种有前景的解决方案，通过车辆之间的信息共享来增强感知能力。然而，现有研究受限于数据集中代理数量较少的问题。为了填补这一空白，清华大学的一组研究人员于2024年推出了WHALES数据集，该数据集利用CARLA模拟器生成，每段驾驶序列平均包含8.4个代理。WHALES不仅提供了最多的代理和视角，还记录了代理行为，支持多任务协作感知。这一扩展使得协作感知中的新支持任务成为可能，如代理调度任务，其中自我代理选择多个候选代理之一进行协作，以优化自动驾驶中的感知增益。

当前挑战

WHALES数据集在构建过程中面临多个挑战。首先，扩展代理数量带来了显著的计算和技术障碍，因为模拟详细传感器数据和复杂交互的高计算需求。其次，现有数据集在协作感知方面存在局限性，主要集中在单车辆场景，限制了其应用于协作感知的适用性。此外，尽管模拟方法在生成协作感知数据集方面具有优势，但仍存在代理数量有限的挑战。WHALES通过优化CARLA模拟器的速度和计算成本，成功处理了大量代理，但仍需解决模拟时间和计算成本随代理数量增加而呈非线性增长的问题。最后，数据集在支持多代理调度任务方面引入了新的挑战，如在训练和推理阶段选择有效策略的复杂性。

常用场景

经典使用场景

在自动驾驶领域，WHALES数据集以其独特的多智能体调度特性，成为研究合作感知任务的经典工具。该数据集通过CARLA模拟器生成，每段驾驶序列平均包含8.4个智能体，涵盖了从交叉口到高速公路等多种复杂场景。研究者利用WHALES数据集进行3D物体检测和智能体调度实验，通过优化感知增益，显著提升了自动驾驶系统的安全性和可靠性。

解决学术问题

WHALES数据集解决了自动驾驶领域中由于遮挡和感知范围限制导致的感知不完整问题。通过引入多智能体合作感知，该数据集为研究者提供了一个大规模、多视角的实验平台，推动了合作感知技术的发展。其丰富的数据和详细的标注信息，使得研究者能够深入探索智能体调度策略，从而在复杂交通环境中实现更精确的感知和决策。

实际应用

在实际应用中，WHALES数据集为自动驾驶系统的开发和测试提供了宝贵的资源。通过模拟多种真实交通场景，该数据集帮助开发者优化车辆间的通信和感知策略，提升自动驾驶车辆在复杂环境中的适应性和安全性。此外，WHALES数据集还支持智能体行为和轨迹的记录，为自动驾驶系统的控制和规划算法提供了丰富的训练数据。

数据集最近研究

最新研究方向

在自动驾驶领域，WHALES数据集的最新研究方向聚焦于多智能体协同感知与调度。该数据集通过CARLA模拟器生成，显著提升了协同感知任务中的智能体数量，平均每驾驶序列包含8.4个智能体，超越了现有数据集的规模。研究者们正利用这一数据集探索多智能体间的协同策略，特别是在非理想通信条件下的感知增强。此外，WHALES数据集还引入了智能体调度任务，通过优化智能体间的合作选择，提升自动驾驶系统在复杂环境中的感知能力。这一研究方向不仅推动了自动驾驶技术的安全性和可靠性，也为未来多智能体系统的设计与优化提供了宝贵的实验平台。

相关研究论文

• WHALES: A Multi-agent Scheduling Dataset for Enhanced Cooperation in Autonomous Driving

  清华大学 · 2024年