D2-City

D2-City是由滴滴出行人工智能实验室创建的大规模行车记录视频数据集，包含超过11,211个视频片段，总时长约一百小时，涵盖中国多个城市的真实交通场景。数据集通过滴滴平台上的车辆收集，特别关注不同天气、道路和交通条件下的数据多样性。创建过程中，数据经过严格筛选，确保质量和场景多样性，同时保护隐私。D2-City旨在推动智能驾驶领域的感知和场景理解研究，解决复杂交通环境下的检测和跟踪问题。D2-City is a large-scale driving recording video dataset developed by the DiDi Chuxing Artificial Intelligence Lab. It comprises over 11,211 video clips with a total duration of around 100 hours, encompassing real-world traffic scenarios across multiple cities in China. The dataset is collected from vehicles operating on the DiDi platform, with particular focus on data diversity across diverse weather, road and traffic conditions. During the dataset's creation, rigorous filtering was applied to ensure data quality and scene diversity, while also protecting user privacy. D2-City is intended to promote research on perception and scene understanding in the intelligent driving domain, and resolve detection and tracking challenges in complex traffic environments.

搜集汇总

数据集介绍

构建方式

D2-City数据集以众包方式采集自滴滴出行平台上的车辆，覆盖中国五个城市，选取了约500辆配备前置行车记录仪的车辆。视频以30秒片段形式录制，帧率为25Hz，分辨率涵盖720p和1080p，码率在2000至4000kbps之间变化，以保持原始数据的多样性。为确保数据质量，研究团队通过三步筛选机制剔除模糊、过曝、反光等低质量片段，并排除连续或长时间静止的视频以提升场景多样性。最终，数据集包含11,211段视频，总时长约100小时，其中1000段视频（超过70万帧）获得了逐帧的边界框和跟踪标注，涵盖12类道路对象，其余视频的关键帧也提供了检测标注。

使用方法

D2-City支持三大任务：目标检测、多目标跟踪以及大规模检测插值。对于检测与跟踪任务，1000段标注视频被划分为训练集（700段）、验证集（100段）和测试集（200段），公开提供训练和验证集的标注。用户可基于这些密集标注训练和评估模型性能。对于剩余的视频，关键帧的检测标注可用于大规模检测插值任务，鼓励开发高效利用算法与人力结合的新颖解决方案。数据集通过官方网站在线发布，研究者可下载原始视频和标注文件，直接应用于智能驾驶感知系统的开发与评估。

背景与挑战

背景概述

智能驾驶与计算机视觉技术的迅猛发展，高度依赖于大规模、高质量的行车视频数据集。然而，现有数据集如KITTI、CityScapes等，在场景多样性、标注密度及真实交通复杂性方面仍存在显著不足。为弥补这一空白，滴滴出行AI实验室联合南加州大学于2019年提出了D2-City数据集，旨在构建一个全面反映中国真实交通场景的大规模行车记录仪视频库。该数据集由超过10,000段高清视频剪辑组成，覆盖了多城市、多天气、多路况的复杂环境，并提供了1000段视频的逐帧目标检测与跟踪精细标注。D2-City的发布，为智能驾驶领域的感知、场景理解等研究提供了极具价值的基准与资源，推动了相关技术的进步。

当前挑战

D2-City数据集所解决的核心领域挑战，在于真实交通场景中目标检测与多目标跟踪任务的复杂性。现有数据集或标注稀疏，或场景单一，难以支撑模型对动态、拥挤、多变环境的鲁棒学习。D2-City通过提供密集的逐帧标注和丰富的场景多样性，直接挑战了模型在遮挡、截断、光照变化及小目标等困难情况下的性能。在构建过程中，团队面临了诸多挑战：首先，众包采集的视频质量参差不齐，需严格筛选以剔除模糊、反光、角度不当等问题；其次，需确保场景多样性，避免重复或单调的片段；最后，隐私保护也是一大难题，需采用算法自动检测并模糊车牌和行人面部，同时确保不影响标注目标。

常用场景

经典使用场景

在智能驾驶与计算机视觉的交叉领域中，D2-City数据集凭借其大规模行车记录仪视频资源，成为评估和训练道路场景理解模型的经典基准。该数据集涵盖了来自中国多个城市、不同天气与路况下的真实交通场景，尤其适用于多类别道路目标检测与多目标跟踪任务。研究者可利用其提供的超过一万段视频片段及其中一千段视频的全帧标注，对车辆、行人、非机动车等十二类目标进行精确的边界框定位与跨帧身份关联，从而在动态、复杂的交通环境中验证算法的鲁棒性与泛化能力。

解决学术问题

D2-City数据集有效解决了现有驾驶视频数据集中规模不足、场景单一以及缺乏密集时序标注的学术困境。在此之前，如KITTI和CityScapes等经典数据集或样本量有限，或仅提供单帧标注，难以支撑模型对复杂动态场景的深度理解。D2-City通过提供超过70万帧的逐帧检测与跟踪标注，并引入遮挡、截断等多级属性，为研究目标在真实交通流中的持续感知、遮挡推理与长时跟踪等关键难题提供了坚实的数据基础，极大推动了基于学习的感知模型在智能驾驶领域的学术进展。

实际应用

在实际应用中，D2-City数据集为出行服务与自动驾驶技术的落地提供了关键支撑。基于该数据集训练的感知模型可部署于网约车平台的行车记录仪系统，实现对前方道路车辆、行人及非机动车的实时检测与轨迹预测，从而辅助驾驶员规避潜在碰撞风险。此外，数据集所涵盖的复杂交通场景，如密集交叉口、狭窄巷道与恶劣天气，能够有效提升自动驾驶系统在边缘案例下的决策能力，促进智能交通监控、路况分析及安全预警等产业化应用的成熟与推广。

数据集最近研究

最新研究方向

D2-City作为大规模行车记录仪视频数据集，其最新研究方向聚焦于复杂交通场景下的多目标跟踪与检测联合优化，尤其关注中国特有的交通元素（如三轮车、非机动车混行）及极端天气条件下的感知鲁棒性。该数据集通过提供超过10,000段视频及密集的边界框与跟踪标注，为研究动态交通流中的遮挡、截断和类间相似性等难题提供了关键支撑。结合滴滴平台的真实驾驶数据，D2-City推动了智能驾驶系统在多样化路况（如城市拥堵、狭窄巷道）下的泛化能力评估，并与BDD100K等数据集互补，成为连接学术界与工业界在感知技术落地的桥梁。其发布的检测插值任务更激发了半监督学习与时空一致性建模的创新探索，对提升自动驾驶安全性与可靠性具有深远意义。

相关研究论文

• D$^2$-City: A Large-Scale Dashcam Video Dataset of Diverse Traffic Scenarios

  滴滴出行人工智能实验室 · 2019年