awesome-autonomous-driving-datasets

该合集是一个自动驾驶数据集的精选列表，涵盖了多个公开可用的自动驾驶数据集，如KITTI、SemanticKITTI、Lyft level5、KAIST URBAN DATA SET、Baidu Apolloscapes、Virtual KITTI dataset、nuscenes、A*3D Dataset、H3D、Berkeley DeepDrive BDD100k和Cityscape Dataset等。每个数据集条目通常包括网站链接、相关论文、数据格式、数据集大小以及支持的竞赛任务。合集旨在为研究人员和开发者提供自动驾驶领域的全面数据集资源索引，覆盖了传感器数据（如激光雷达、摄像头、雷达）、任务（如目标检测、语义分割、跟踪）和多样化场景。

This collection is a curated list of publicly available autonomous driving datasets, including KITTI, SemanticKITTI, Lyft Level 5, KAIST URBAN DATA SET, Baidu Apolloscapes, Virtual KITTI Dataset, nuScenes, A*3D Dataset, H3D, Berkeley DeepDrive BDD100K, and Cityscapes Dataset. Each dataset entry typically includes its official website link, associated research papers, data format, dataset size, and supported competition tasks. This collection aims to provide researchers and developers with a comprehensive resource index for autonomous driving research, covering sensor data (such as LiDAR, cameras, and radar), core tasks including object detection, semantic segmentation and multi-object tracking, as well as diverse scenarios.

原始信息汇总

自动驾驶数据集概览

本页面汇总了多个主流自动驾驶数据集，涵盖数据格式、规模、竞赛任务及参考文献。以下是各数据集的详细信息：

1. KITTI

• 官网链接：http://www.cvlibs.net/datasets/kitti/
• 数据格式：激光雷达、双目视觉
• 数据集大小：约 40GB
• 竞赛任务：立体匹配、光流、场景流、深度补全、单图深度预测、视觉里程计、3D 物体检测、多目标跟踪、道路/车道检测、语义与实例分割
• 相关论文：
  • Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite
  • Vision meets Robotics: The KITTI Dataset
  • A New Performance Measure and Evaluation Benchmark for Road Detection Algorithms
  • Object Scene Flow for Autonomous Vehicles

2. SemanticKITTI

• 官网链接：http://semantic-kitti.org/index.html
• 数据格式：点云
• 数据集大小：约 60GB
• 竞赛任务：语义分割、语义场景补全
• 相关论文：SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences

3. Lyft Level 5

• 官网链接：https://level5.lyft.com/dataset/
• 数据格式：相机、激光雷达、雷达
• 竞赛任务：3D 物体检测
• 相关论文：Lyft Level 5 AV Dataset 2019

4. KAIST URBAN DATA SET

• 官网链接：http://irap.kaist.ac.kr/dataset/
• 数据格式：激光雷达、双目视觉
• 相关论文：
  • Complex Urban Dataset with Multi-level Sensors from Highly Diverse Urban Environments
  • Road is Enough! Extrinsic Calibration of Non-overlapping Stereo Camera and LiDAR using Road Information
  • Complex Urban LiDAR Data Set

5. Baidu Apolloscapes

• 官网链接：http://apolloscape.auto/
• 竞赛任务：场景解析、车辆实例、车道分割、定位、轨迹、检测、跟踪、立体匹配

6. Virtual KITTI Dataset

• 官网链接：https://europe.naverlabs.com/research/computer-vision/proxy-virtual-worlds/
• 数据集大小：约 30GB
• 相关论文：Virtual Worlds as Proxy for Multi-Object Tracking Analysis

7. nuScenes

• 官网链接：https://www.nuscenes.org
• 数据格式：相机、激光雷达、雷达
• 竞赛任务：物体检测、跟踪
• 相关论文：nuScenes: A multimodal dataset for autonomous driving

8. A*3D Dataset

• 官网链接：https://github.com/I2RDL2/ASTAR-3D
• 数据格式：激光雷达、图像
• 相关论文：A*3D Dataset: Towards Autonomous Driving in Challenging Environments

9. H3D

• 官网链接：https://usa.honda-ri.com/h3d
• 数据格式：激光雷达
• 相关论文：The H3D Dataset for Full-Surround 3D Multi-Object Detection and Tracking in Crowded Urban Scenes

10. Berkeley DeepDrive BDD100k

• 官网链接：https://bdd-data.berkeley.edu/
• 数据格式：视频
• 竞赛任务：可行驶区域、道路物体检测、领域自适应
• 相关论文：BDD100K: A Diverse Driving Video Database with Scalable Annotation Tooling

11. Cityscape Dataset

• 官网链接：https://www.cityscapes-dataset.com/
• 竞赛任务：像素级语义标注、实例级语义标注、全景语义标注
• 相关论文：
  • The Cityscapes Dataset for Semantic Urban Scene Understanding
  • The Cityscapes Dataset

12. comma.ai

• 官网链接：https://archive.org/details/comma-dataset

13. Oxford’s Robotic Car

• 官网链接：https://robotcar-dataset.robots.ox.ac.uk/
• 相关论文：1 Year, 1000km: The Oxford RobotCar Dataset

搜集汇总

数据集介绍

构建方式

该数据集仓库汇集了全球范围内具有代表性的自动驾驶数据集，如KITTI、SemanticKITTI、nuScenes等。每个数据集均来自真实驾驶场景，通过车载传感器（如激光雷达、立体相机、毫米波雷达）采集多模态数据。构建过程遵循严格的学术标准，涵盖数据标注、格式统一及基准测试设计，部分数据集还提供合成数据（如Virtual KITTI）以增强场景多样性。

特点

数据集覆盖了自动驾驶核心任务，包括3D目标检测、语义分割、深度估计、视觉里程计及多目标跟踪等。其特点在于多传感器融合（如相机-激光雷达-雷达组合）、大规模标注（如BDD100K的10万视频帧）以及挑战性环境（如A*3D的恶劣天气场景）。此外，多个数据集配套了在线排行榜与评测协议，便于算法横向对比。

使用方法

用户可通过各数据集的官方网站下载原始数据，并依据提供的标注格式（如KITTI的标签文件）进行模型训练与评估。建议优先查阅对应论文中的基准设置，例如nuScenes的检测任务需遵循其定义的类别与指标。对于点云数据（如SemanticKITTI），可利用开源工具（如Open3D）进行预处理，而视频数据（如BDD100K）则需按帧提取并划分训练/验证集。

背景与挑战

背景概述

自主驾驶技术作为人工智能与机器人领域的前沿方向，其发展高度依赖于大规模、多模态的数据集。自2012年KITTI数据集由卡尔斯鲁厄理工学院和丰田工业大学芝加哥分校联合创建以来，该领域的数据资源经历了爆发式增长。awesome-autonomous-driving-datasets项目由研究者李贺元维护，系统整合了包括KITTI、nuScenes、BDD100K在内的十余个经典数据集，覆盖了从立体视觉、激光雷达到毫米波雷达的多种传感器模态，以及3D目标检测、语义分割、深度估计等核心研究问题。这些数据集不仅推动了计算机视觉算法在复杂交通场景下的性能飞跃，更成为衡量自主驾驶系统鲁棒性的重要基准，深刻影响了学术研究与工业应用的范式。

当前挑战

当前自主驾驶数据集面临的核心挑战集中于领域问题的复杂性与构建过程的艰巨性。在领域问题层面，数据集需应对极端光照、恶劣天气及动态遮挡等环境干扰，同时解决多模态传感器融合中的时空对齐难题，例如激光雷达与摄像头之间的外参标定误差会导致检测精度下降。构建过程中，大规模数据标注的人力成本与时间消耗极为显著，以语义分割任务为例，逐像素标注单帧点云或图像需数小时，且难以保证跨场景的一致性。此外，现有数据集多聚焦于特定地区（如欧美城市），缺乏对亚洲复杂路况的充分覆盖，导致模型在迁移至新兴场景时泛化能力不足。数据隐私法规的日益严格也限制了原始数据的公开共享，进一步加剧了领域发展的瓶颈。

常用场景

经典使用场景

在自动驾驶领域，数据集的经典使用场景涵盖从感知到决策的全链路算法验证。以KITTI为代表的基准数据集，为立体视觉、光流估计、深度补全、视觉里程计、3D目标检测、多目标跟踪及道路/车道线检测等任务提供了标准化评测平台。研究者通过在这些公开挑战上评估算法性能，能够系统性地比较不同方法的优劣，推动感知技术的迭代与突破。

解决学术问题

这些数据集解决了自动驾驶学术研究中长期存在的两大核心问题：一是缺乏大规模、多模态、标注精细的真实场景数据，导致算法泛化能力不足；二是缺少统一、公平的评测基准，使得不同研究成果难以横向对比。KITTI、nuScenes、SemanticKITTI等数据集的涌现，为3D语义分割、场景补全、多模态融合感知等前沿课题提供了坚实的数据基础，显著加速了自动驾驶从实验室走向实际部署的进程。

衍生相关工作

围绕这些数据集，衍生出众多经典工作。例如，基于KITTI的PointNet++系列开创了点云深度学习的先河；SemanticKITTI催生了RangeNet++、SalsaNext等高效语义分割网络；nuScenes的发布推动了BEV（鸟瞰图）感知范式的兴起，如LSS（Lift-Splat-Shoot）方法；而Virtual KITTI的合成数据则为域适应研究提供了重要基准，促进了Sim2Real迁移学习在自动驾驶领域的广泛应用。