DeepScenario Open 3D Dataset (DSC3D)

DeepScenario Open 3D数据集（DSC3D）是一个高质量的、无遮挡的、包含14种交通参与者的6自由度边界框轨迹数据集。该数据集包含超过17.5万条轨迹，数据规模和多样性显著超过了现有数据集，覆盖了复杂的车辆-行人交互和全面的停车操作等场景。数据集在五个不同地点录制，包括停车场、拥挤的市中心、陡峭的城市交叉口、联邦公路和郊区的交叉口。DSC3D数据集的目的是通过提供详细的3D环境表示来增强自动驾驶系统，从而提高障碍物交互和安全。数据集的应用领域包括运动预测、运动规划、场景挖掘和生成反应式交通代理等。数据集和相关工具在app.deepscenario.com上公开提供，以促进运动预测、行为建模和安全验证的研究。

The DeepScenario Open 3D Dataset (DSC3D) is a high-quality, occlusion-free trajectory dataset equipped with 6-degree-of-freedom (6DoF) bounding boxes covering 14 categories of traffic participants. This dataset contains over 175,000 trajectories, with its scale and diversity significantly exceeding those of existing datasets, and covers scenarios such as complex vehicle-pedestrian interactions and comprehensive parking maneuvers. The dataset was recorded at five distinct locations, including parking lots, crowded downtown areas, steep urban intersections, federal highways, and suburban intersections. The goal of the DSC3D dataset is to enhance autonomous driving systems by providing detailed 3D environmental representations, thereby improving obstacle interaction and driving safety. Application domains of the dataset include motion prediction, motion planning, scene mining, and the generation of reactive traffic agents, among others. The dataset and its associated tools are publicly available at app.deepscenario.com to facilitate research in motion prediction, behavior modeling, and safety validation.

原始信息汇总

DeepScenario Open 3D Dataset (DSC3D) 概述

数据集简介

• 名称：DeepScenario Open 3D Dataset (DSC3D)
• 类型：高精度、无遮挡的6自由度边界框轨迹数据集
• 采集方式：通过新型单目相机无人机跟踪流程获取
• 主要特点：
  • 包含超过175,000条轨迹
  • 涵盖14种交通参与者类型
  • 提供详细的环境3D表示

数据集内容

• 数据量：约15小时的数据
• 采集地点：德国和美国的五个不同地点
  • 停车场 (SIFI)
  • 内城环境 (MUC)
  • 非信号化交叉路口 (STR, SFO)
  • 联邦高速公路 (BER)
• 轨迹数量：177,151条独特轨迹

分类框架

• 主要类别：
  • 行人 (140,227)
  • 自行车 (17,736)
  • 汽车 (13,241)
  • 滑板车 (1,475)
  • 摩托车 (1,054)
  • 动物 (677)
  • 卡车 (475)
  • 公共汽车 (191)
  • 其他 (2,075)

应用场景

• 运动预测
• 运动规划
• 场景挖掘
• 生成反应式交通代理

获取方式

• 数据集及许可证可通过DeepScenario的web应用获取：app.deepscenario.com

引用格式

bibtex @inproceedings{dsc3d, title = {Highly Accurate and Diverse Traffic Data: The DeepScenario Open 3D Dataset}, author = {Dhaouadi,Oussema and Meier, Johannes and Wahl, Luca and Kaiser, Jacques and Scalerandi, Luca and Wandelburg, Nick and Zhuo, Zhuolun and Berinpanathan, Nijanthan and Banzhaf, Holger and Cremers, Daniel}, booktitle = {2025 IEEE Intelligent Vehicles Symposium}, year = {2025}, organization = {IEEE} }

搜集汇总

数据集介绍

构建方式

DeepScenario Open 3D Dataset (DSC3D) 的构建采用了创新的单目相机无人机跟踪流程，通过无人机在德国和美国的五个不同地点进行数据采集。数据采集过程分为两步：首先进行地图构建飞行，覆盖整个场景并捕获带有GPS标记的图像；随后在固定位置进行长时间录制，获取高频率的视频帧。通过结构光运动（SfM）和多视图立体（MVS）技术，实现了场景的三维重建，并利用FlexRoad生成平滑的地面网格。此外，数据集还包含高精度3D边界框标注和详细的3D网格表示，确保了数据的全面性和准确性。

特点

DSC3D数据集以其多样性和高精度著称，涵盖了175,000多条轨迹，涉及14种交通参与者类别，包括行人、自行车、汽车等。数据集覆盖了多种场景类型，如停车场、拥挤的市中心、陡峭的城市交叉口等，提供了丰富的交通交互情境。其独特的3D数据表示方式，包括6自由度边界框和详细的3D网格，使其在现有数据集中脱颖而出。此外，数据集还提供了地理参考的高清地图（OpenDRIVE格式），进一步增强了其应用价值。

使用方法

DSC3D数据集适用于多种自动驾驶相关的研究任务，如运动预测、行为建模和安全验证。研究人员可以通过其交互式在线可视化平台（app.deepscenario.com）访问和下载数据。数据集的高精度3D标注和多样化的场景使其成为开发和验证自动驾驶算法的理想选择。此外，数据集还可用于生成反应式交通代理和场景挖掘，为自动驾驶系统的鲁棒性和泛化性提供支持。

背景与挑战

背景概述

DeepScenario Open 3D Dataset (DSC3D) 是由DeepScenario、慕尼黑工业大学及慕尼黑机器学习中心联合研发的高精度三维交通轨迹数据集，于2025年由IEEE智能车辆研讨会正式收录。该数据集通过创新的单目无人机跟踪技术，突破了传统车载传感器易受遮挡和视角局限的瓶颈，首次实现了对复杂城市场景中多类别交通参与者的六自由度轨迹捕捉。其核心研究价值在于为自动驾驶系统提供涵盖陡坡道路、非信号化交叉口、高密度城区等多样化场景的175,000余条三维轨迹数据，包含14类交通参与者交互行为，显著提升了运动预测、行为建模等任务的基准水平。数据集覆盖德国与美国五个典型地理区域，配套的高清语义地图与三维网格重建技术为数字孪生应用奠定了坚实基础。

当前挑战

DSC3D在解决自动驾驶三维环境理解问题时面临双重挑战：领域层面，传统数据集受限于二维表征难以解析非平面交通场景的空间关系，尤其陡坡地形下的车辆动力学建模存在显著误差；构建层面，无人机单目相机需克服低空细节丢失与建筑遮挡问题，其4.8厘米级精度的实现依赖创新的地面感知检测算法与多阶段位姿优化策略。数据标注过程中，14类交通参与者的异构运动模式要求开发自适应跟踪框架，而跨大西洋多场景采集则带来光照条件、交通法规差异等外部变量控制难题。此外，数据集需平衡轨迹时空覆盖广度与毫米级测量精度之间的工程矛盾，这对传感器标定与联合束调整算法提出了极高要求。

常用场景

经典使用场景

DeepScenario Open 3D Dataset (DSC3D) 作为首个基于无人机视角的3D轨迹数据集，其经典使用场景主要集中在自动驾驶系统的开发与验证领域。该数据集通过无人机高空视角捕捉了德国和美国五个不同地点的交通场景，包括高密度行人区域、联邦高速公路、复杂无信号交叉口等多样化环境。其独特的3D网格地图和6自由度边界框轨迹数据，为研究者提供了近乎无遮挡的全局场景理解能力，特别适用于分析非平面交通场景中各类道路使用者的三维空间关系。

衍生相关工作

DSC3D数据集已催生了一系列创新性研究工作。基于该数据集开发的DeepUrban基准测试系统重新定义了轨迹预测任务的评估标准。在人类驾驶行为分析领域，研究者利用其精确的3D轨迹数据首次实现了对交通规则遵守情况的定量评估。在场景挖掘方面，该数据集支持了对关键安全指标（如碰撞时间和侵入后时间）的大规模统计分析。最新进展包括BehaviorGPT等生成模型，利用数据集训练出的智能体已能模拟复杂的多智能体交通交互行为，为自动驾驶仿真测试提供了新的方法论。

数据集最近研究

最新研究方向

随着自动驾驶技术的快速发展，高精度3D轨迹数据的需求日益凸显。DeepScenario Open 3D Dataset (DSC3D)作为一项突破性成果，通过创新的无人机单目相机追踪技术，提供了超过175,000条6自由度边界框轨迹数据，覆盖14种交通参与者类型。该数据集在复杂城市场景中的车辆-行人交互、停车行为等方面填补了传统数据集的空白，为自动驾驶系统的环境感知和决策规划提供了更为全面的数据支持。当前研究热点集中在利用DSC3D进行运动预测、行为建模和安全验证，特别是在非平面交通场景下的算法开发。该数据集的发布不仅推动了多模态轨迹预测基准DeepUrban的建立，还为生成式交通代理训练提供了真实世界的行为样本，显著提升了自动驾驶系统在复杂城市环境中的适应性和安全性。

相关研究论文

• Highly Accurate and Diverse Traffic Data: The DeepScenario Open 3D Dataset

  慕尼黑工业大学（TU Munich） · 2025年