DOLPHINS

DOLPHINS数据集是由清华大学电子工程系创建的一个大规模、多场景、多视角、多模态的自动驾驶数据集。该数据集包含42376帧图像和点云数据，涵盖6种典型自动驾驶场景，如城市交叉口、T型路口等，并考虑了动态天气条件。数据集通过CARLA模拟器生成，确保了数据的多样性和真实性。DOLPHINS数据集旨在支持车辆间（V2V）和车辆与基础设施间（V2I）的协同感知研究，解决自动驾驶中的盲区和长距离感知问题，推动互联自动驾驶技术的发展。The DOLPHINS dataset is a large-scale, multi-scenario, multi-view, multi-modal autonomous driving dataset created by the Department of Electronic Engineering of Tsinghua University. It contains 42,376 frames of image and point cloud data, covering 6 typical autonomous driving scenarios such as urban intersections and T-junctions, and takes into account dynamic weather conditions. The dataset is generated via the CARLA simulator, ensuring its diversity and authenticity. The DOLPHINS dataset aims to support research on cooperative perception between vehicles (V2V) and between vehicles and infrastructure (V2I), addressing the issues of blind spots and long-distance perception in autonomous driving, and promoting the development of connected autonomous driving technologies.

搜集汇总

数据集介绍

构建方式

DOLPHINS数据集的构建采用了先进的CARLA模拟器，该模拟器能够提供逼真的环境建模以及各种车辆动态和传感器的实时模拟。数据集包含了来自车辆和路侧单元（RSU）的同步图像和点云数据，这些数据能够支持车辆到车辆（V2V）和车辆到基础设施（V2I）的协作感知。数据集共包括6种典型的自动驾驶场景，并设置了3个视角以覆盖每个场景的关键区域。数据集的每个视角记录了42376帧的同步图像和点云数据，并包含了292549个对象的3D标注、地理位置和校准信息。此外，数据集还提供了高分辨率的图像和点云数据，以及易于使用的API和开源代码，确保了数据集的可扩展性。

使用方法

使用DOLPHINS数据集的方法包括：1. 数据准备：下载DOLPHINS数据集和相关代码，并根据需要安装CARLA模拟器和其他依赖项。2. 数据加载：使用数据集提供的API加载图像和点云数据，并获取相应的标注和校准信息。3. 算法训练：使用数据集提供的标注数据进行2D目标检测、3D目标检测和多视角协作感知算法的训练。4. 性能评估：在数据集提供的测试集上评估算法的性能，并与现有算法进行比较。5. 数据集扩展：使用数据集提供的开源代码和API生成额外的数据，以扩展数据集的规模和多样性。

背景与挑战

背景概述

DOLPHINS数据集是清华大学电子工程系研究人员为了推动协同感知在自动驾驶中的应用而创建的。该数据集于2022年发布，旨在解决自动驾驶中单一智能感知的根本缺陷，如盲区和远程感知不足。DOLPHINS数据集提供了车辆与车辆（V2V）以及车辆与基础设施（V2I）之间的协同感知所需的时空对齐图像和点云数据，涵盖了城市交叉口、T形路口、陡坡、高速公路入口匝道和山区道路等6个典型场景，以及动态天气条件。DOLPHINS数据集的创建为互联自动驾驶的研究提供了突破性的基准平台，对于促进V2X网络下的协同自动驾驶算法的发展具有重要意义。

当前挑战

DOLPHINS数据集面临的挑战主要包括：1) 多源异构数据融合的挑战：由于车辆和路边单元（RSU）之间的视角差异较大，导致数据融合过程中存在较大的视差，从而引发了物体之间的遮挡关系匹配问题。2) 数据集构建的挑战：在构建多视角、多模态数据集的过程中，需要确保数据的时空对齐、标注的准确性和一致性，以及不同视角数据的互补性。3) 协同感知算法的挑战：如何有效地利用V2X网络进行信息交换，实现不同视角数据的融合，并提高自动驾驶的感知可靠性，是当前协同感知算法面临的挑战。

常用场景

经典使用场景

DOLPHINS数据集是专为协作感知而设计的大型模拟多场景多视角多模态自动驾驶数据集。其经典使用场景包括自动驾驶中的车辆与车辆（V2V）以及车辆与基础设施（V2I）之间的协同感知。该数据集提供了时间对齐的图像和点云数据，支持研究人员开发并验证基于V2X的协同感知算法，无需额外生成数据。此外，DOLPHINS包含了6种典型的自动驾驶场景，包括城市交叉口、T型路口、陡坡、高速公路入口坡道和山路，以及动态天气条件，为自动驾驶算法提供了多样化的测试环境。

解决学术问题

DOLPHINS数据集解决了自动驾驶领域中的一个重要问题，即独立智能的局限性。传统数据集主要关注单个视角，即自动驾驶车辆的视角，而DOLPHINS提供了来自辅助车辆和路边单元（RSU）的图像和点云数据，填补了独立智能的盲区。该数据集还包含了6种典型的自动驾驶场景，以及动态天气条件，为研究人员提供了更加全面和多样化的测试环境。此外，DOLPHINS数据集提供了详细的标注信息，包括对象的3D注释、地理位置和校准数据，有助于研究人员更好地理解和分析数据。

实际应用

DOLPHINS数据集在实际应用场景中具有重要的意义。通过V2X通信，自动驾驶车辆可以与其他车辆或路边单元共享感知数据，从而提高感知的准确性和可靠性。此外，DOLPHINS数据集还提供了高分辨率的图像和点云数据，有助于自动驾驶车辆更好地感知周围环境。在实际应用中，DOLPHINS数据集可以用于自动驾驶车辆的感知算法训练和验证，以及自动驾驶系统的开发和测试。

数据集最近研究

最新研究方向

DOLPHINS数据集的最新研究方向聚焦于利用车联网（V2X）网络实现协同感知，旨在解决自动驾驶中单一视角感知的缺陷。通过V2X网络，车辆可以与其他车辆和路侧单元（RSU）共享感知数据，从而实现更全面的环境感知。DOLPHINS数据集提供了多视角、多模态的数据，包括车辆和RSU的时间对齐图像和点云，支持V2V和V2I协同感知。此外，数据集涵盖了多种典型的自动驾驶场景和动态天气条件，为研究协同感知算法提供了丰富的实验环境。DOLPHINS数据集的发布不仅为协同感知算法的研究提供了新的基准平台，而且通过实验结果表明，V2X通信可以在提高感知精度的同时，减少车辆上昂贵的激光雷达设备的需求，从而推动互联自动驾驶车辆的普及。

相关研究论文

• DOLPHINS: Dataset for Collaborative Perception enabled Harmonious and Interconnected Self-driving

  清华大学电子工程系 · 2022年