DeepScenario Open 3D Dataset (DSC3D)

DeepScenario Open 3D数据集（DSC3D）是一个高质量、无遮挡的6自由度边界框轨迹数据集，通过创新的单目相机无人机跟踪流程获取。该数据集包含超过175,000个轨迹，涉及14种交通参与者类型，在多样性和规模上显著超过了现有数据集，包括复杂的车辆-行人交互和全面的停车操作。数据集在欧洲和美国的五个不同地点捕获，包括停车场、繁忙的内城、陡峭的城市交叉口、联邦公路和郊区交叉口。DSC3D数据集旨在通过提供详细的环境3D表示来增强自动驾驶系统，这可能有助于提高障碍物交互和安全。该数据集在多个应用程序中展示了其效用，包括运动预测、运动规划、场景挖掘和生成反应交通代理。交互式在线可视化平台和数据集的完整数据都是公开可用的，以促进运动预测、行为建模和安全验证的研究。DeepScenario Open 3D Dataset (DSC3D) is a high-quality, occlusion-free 6-degree-of-freedom (6DoF) bounding box trajectory dataset acquired through an innovative monocular camera-based drone tracking pipeline. This dataset contains over 175,000 trajectories and encompasses 14 categories of traffic participants, substantially outperforming existing datasets in both diversity and scale, covering complex vehicle-pedestrian interactions and comprehensive parking maneuvers. The dataset was collected at five distinct sites across Europe and the United States, including parking lots, dense urban downtowns, steep urban intersections, federal highways, and suburban intersections. Designed to advance autonomous driving systems by providing detailed 3D environmental representations, DSC3D can facilitate improved obstacle interaction and driving safety. The utility of this dataset has been validated across multiple applications, including motion prediction, motion planning, scene mining, and the generation of reactive traffic agents. An interactive online visualization platform and the complete dataset are publicly available to foster research on motion prediction, behavior modeling, and safety validation.

搜集汇总

数据集介绍

构建方式

DeepScenario Open 3D Dataset (DSC3D) 的构建采用了创新的单目无人机跟踪流程，通过无人机在德国和美国的五个不同地点进行数据采集。数据采集过程中，无人机首先进行地图构建飞行，捕捉带有GPS标记的图像，随后在固定位置进行长时间的场景录制。通过结构光运动（SfM）和多视角立体（MVS）技术，实现了高精度的3D场景重建和地面网格生成。此外，数据集还包含了详细的3D边界框轨迹和地理参考的高清地图（OpenDRIVE格式），确保了数据的全面性和准确性。

特点

DSC3D数据集以其多样性和高精度著称，涵盖了175,000多条轨迹，涉及14种不同类型的交通参与者，包括行人、自行车、汽车、摩托车等。数据集覆盖了多种复杂场景，如高密度城市交通、陡峭道路交叉口、联邦高速公路和复杂的停车操作。其独特的3D数据表示方式，包括完整的3D边界框和详细的3D网格表示，使其在现有数据集中脱颖而出。此外，数据集的平均轨迹持续时间和距离分布显示了其在长期运动建模方面的优势。

使用方法

DSC3D数据集适用于多种自动驾驶相关的研究和应用，包括运动预测、行为建模、场景挖掘和安全验证。研究人员可以通过数据集提供的交互式在线可视化平台（app.deepscenario.com）进行数据下载和可视化分析。数据集的高精度3D轨迹和详细的环境表示使其成为开发和验证自动驾驶算法的理想资源。此外，数据集还可用于训练生成式反应交通代理，模拟真实世界中的交通行为，进一步提升自动驾驶系统的鲁棒性和泛化能力。

背景与挑战

背景概述

DeepScenario Open 3D Dataset (DSC3D) 是由DeepScenario、慕尼黑工业大学及慕尼黑机器学习中心联合研发的高精度三维交通轨迹数据集，发布于2025年IEEE智能车辆研讨会（IV）。该数据集通过创新的单目无人机跟踪技术，克服了传统车载传感器易受遮挡及视野局限的缺陷，首次实现了对复杂城市场景中动态物体的六自由度轨迹捕捉。其核心研究问题聚焦于为自动驾驶系统提供无遮挡、高精度的三维环境表征，以提升障碍物交互与行车安全。数据集覆盖德美两国五个典型场景（如慕尼黑高密度行人区、旧金山陡坡无信号交叉口等），包含17.5万条轨迹、14类交通参与者，在多样性、规模及三维信息完整性上均超越现有数据集，为行为预测、路径规划等研究提供了全新基准。

当前挑战

DSC3D针对自动驾驶领域的两大挑战提出解决方案：其一，传统数据集因固定视角导致的物体遮挡与远距离对象重建缺失问题，通过无人机俯视视角与单目三维重建技术实现厘米级精度（中位误差4.8厘米）的全场景覆盖；其二，复杂城市场景中多类别交通参与者交互建模的不足，凭借14类细粒度标注（含动物、滑板车等罕见类别）及陡坡、无信号路口等特殊场景数据填补空白。构建过程中需攻克无人机位姿校准、非平面地形三维网格重建、跨场景地理坐标统一等技术难点，并通过主动学习策略将检测模型的NuScenes评分提升至97%。

常用场景

经典使用场景

在自动驾驶系统的开发与验证中，DSC3D数据集以其高精度的3D轨迹数据和丰富的场景多样性，成为研究复杂交通交互行为的理想选择。该数据集特别适用于模拟城市环境中车辆与行人、自行车等弱势道路使用者的动态交互，为算法训练提供了真实的场景支持。

衍生相关工作

DSC3D数据集衍生了一系列经典工作，如DeepUrban基准测试，用于评估复杂交通场景下的轨迹预测和规划算法。此外，该数据集还支持了生成式反应交通代理的研究，这些代理能够模拟真实的人类驾驶行为，为自动驾驶系统的测试和验证提供了多样化的场景。

数据集最近研究

最新研究方向

随着自动驾驶技术的快速发展，高精度三维场景理解成为关键挑战。DeepScenario Open 3D Dataset (DSC3D)作为首个基于无人机视角的公开三维轨迹数据集，通过创新的单目相机无人机跟踪流程，提供了超过175,000条六自由度边界框轨迹，覆盖14类交通参与者。该数据集在德国和美国的五个不同地点采集，包括停车场、拥挤的市中心、陡峭的城市交叉口、联邦高速公路和郊区交叉口等多样化场景。DSC3D的突出特点在于其完整的3D注释系统，包括详细的网格表示和精确的3D边界框，为自动驾驶系统的运动预测、行为建模和安全验证提供了丰富的研究资源。当前研究热点集中在利用该数据集开发生成式反应交通代理、场景挖掘以及复杂城市环境下的长期运动预测模型，这些方向对于提升自动驾驶系统在真实复杂场景中的鲁棒性和安全性具有重要意义。

相关研究论文

• Highly Accurate and Diverse Traffic Data: The DeepScenario Open 3D Dataset

  DeepScenario, TU Munich, Munich Center for Machine Learning · 2025年