DeepUrban (V1)

DeepUrban是由慕尼黑应用科学大学与DeepScenario合作开发的无人机航拍数据集，聚焦高密度城市场景中的交通参与者交互行为。该数据集包含5604条三维交通对象轨迹数据，源自德国及美国多个城市交叉路口的12小时无人机影像（分辨率150米×150米，采样频率12.5Hz），涵盖14种道路使用者类型（含电动滑板车等新型交通工具），VRU交互比例高达95%。通过专业计算机视觉流程提取动态对象轨迹，并整合OpenDRIVE地图和车道级语义信息，其多智能体视角设计有效解决了传统单目视角的遮挡问题。该数据集旨在提升自动驾驶系统在复杂城市环境中的轨迹预测与规划能力，尤其适用于密集人车混行场景的算法验证。

DeepUrban is an aerial drone dataset jointly developed by Munich University of Applied Sciences and DeepScenario, focusing on the interactive behaviors of traffic participants in high-density urban scenarios. This dataset contains 5,604 3D traffic object trajectory records, derived from 12 hours of drone footage captured at intersections across multiple cities in Germany and the United States, with a resolution of 150m × 150m and a sampling frequency of 12.5Hz. It covers 14 types of road users, including emerging mobility modes such as electric scooters, and the VRU interaction ratio reaches as high as 95%. Dynamic object trajectories are extracted through professional computer vision pipelines, and OpenDRIVE maps and lane-level semantic information are integrated into the dataset. Its multi-agent perspective design effectively resolves the occlusion problems inherent in traditional monocular vision setups. This dataset aims to enhance the trajectory prediction and planning capabilities of autonomous driving systems in complex urban environments, and is particularly suitable for algorithm validation in dense mixed-traffic scenarios.

原始信息汇总

DeepUrban: Benchmark for Trajectory Prediction and Planning

数据集概述

DeepUrban是一个用于轨迹预测和规划的基准数据集，专注于密集城市场景中道路使用者之间的高度交互。

主要目的

• 为研究目的提供基准。
• 提供可用于与其他最先进算法和数据集进行比较的场景。
• 增强轨迹预测和规划方法在密集城市场景中的基准测试。

数据来源与特点

• 场景基于DeepScenario通过无人机在不同地点（主要在德国）提供的数据。
• 包含从高分辨率无人机图像中提取的相关3D交通对象。
• 提供全面的地图和场景信息，以支持高级建模和仿真任务。
• 专注于捕捉道路使用者之间的高密度交互，弥补现有数据集的不足。

背景与动机

• 现有自动驾驶数据集（如CommonRoad、nuScenes、Interaction、nuPlan、Waymo Open Motion、Argoverse系列）在捕捉道路使用者高密度交互方面存在显著差距。
• 大多数数据集主要关注美国和亚洲环境，道路密度较低（分别约为36.02km/100km²和68km/100km²）。
• 德国拥有全球最高的道路密度之一（约180.51km/100km²），即使在农村地区，交通参与者之间的交互也更加明显。
• 欧洲城市展示了车辆和弱势道路使用者（VRUs）等不同类型交通参与者之间的平滑整合。

合作与支持

• 与工业合作伙伴DeepScenario合作创建。
• 该工作是联合研究项目STADT:up（19A22006N）的成果。
• 项目得到德国联邦经济事务和气候行动部（BMWK）的支持，基于德国联邦议院的决定。

联系信息

• Intelligent Vehicles Lab
• Prof. Dr. Fabian Flohr（实验室负责人）
• Hochschule München University of Applied Sciences
• Room E304
• Lothstr. 34
• 80335 München

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，密集交通场景的稀缺限制了轨迹预测与规划模型的交互建模能力。DeepUrban (V1) 数据集通过无人机航拍技术，在德国及美国多个城市交叉口约100米高空采集高分辨率图像，构建了涵盖高密度交互的交通场景。数据预处理流程包括利用专有计算机视觉管道进行三维重建、动态物体检测与跟踪，提取出超过5604个持续20秒的交通场景，并以12.5Hz频率采样后重采样至10Hz，确保与其他主流数据集的可比性。每个场景均包含14种道路使用者类型，并辅以OpenDRIVE、lanelet2等详细地图信息，为复杂城市环境下的预测与规划任务提供了丰富且标准化的数据基础。

特点

DeepUrban (V1) 数据集的核心特点在于其专注于高密度城市交通环境，尤其强调易受伤害道路使用者（VRU）的交互行为，VRU占比高达95%，显著高于现有主流数据集。该数据集提供了12小时的记录时长，包含超过20.8万条轨迹，覆盖车辆、行人、电动滑板车等14种道路使用者类型，能够全面反映欧洲城市交通中多模态参与者的复杂动态。此外，数据集通过无人机全局视角有效避免了遮挡问题，支持将场景中任意车辆作为自车进行规划研究，并结合了三维位置、速度、加速度等精细状态信息以及多种矢量地图格式，为建模密集交互与场景一致性预测提供了独特而全面的数据支持。

使用方法

DeepUrban (V1) 数据集已集成至TrajData统一数据加载器，便于研究者进行跨数据集的基准测试与比较分析。使用前，用户需通过DeepScenario平台获取原始航拍数据及预处理管道。数据集按地理位置划分为训练、验证与测试集，典型分割比例为80%、10%、10%，支持直接用于轨迹预测与规划模型的训练与评估。在应用中，可采用如ScePT等先进算法，利用数据提供的场景图、交互聚类及地图信息进行多智能体轨迹预测与规划。实验表明，将DeepUrban与nuScenes等数据集结合训练，能显著提升车辆轨迹预测的ADE与FDE指标，有效增强模型在密集复杂场景中的泛化与安全性能。

背景与挑战

背景概述

随着自动驾驶技术的快速发展，轨迹预测与规划成为确保系统安全性与可靠性的核心环节。然而，现有数据集在捕捉高密度城市交通场景方面存在显著不足，这限制了模型对复杂交通参与者交互行为的建模能力。为填补这一空白，慕尼黑应用科学大学智能车辆实验室与工业合作伙伴DeepScenario于2024年共同推出了DeepUrban (V1)数据集。该数据集通过无人机航拍技术，在德国等高道路密度区域采集了超过5604个高密度城市交通场景，重点关注车辆与弱势道路使用者之间的密集交互。DeepUrban不仅提供了丰富的三维交通对象轨迹，还整合了详尽的地图与场景信息，旨在提升自动驾驶系统在复杂城市环境中的预测与规划性能，对推动全球自动驾驶技术适应多样化交通条件具有重要影响。

当前挑战

DeepUrban数据集致力于解决自动驾驶领域在高密度城市环境中轨迹预测与规划的挑战，其核心问题在于建模多交通参与者之间的复杂交互行为，尤其是在车辆与行人、自行车等弱势道路使用者密集共存的场景。数据集的构建过程面临多重挑战：首先，从无人机拍摄的高分辨率图像中精确提取并跟踪动态三维对象，需克服遮挡、尺度变化及对象外观多样性等计算机视觉难题；其次，在场景过滤与提取阶段，需设计合理的运动阈值与时间窗口，以排除静态或无关对象，同时确保每个场景包含足够的交互复杂性；此外，数据还需与现有基准如nuScenes等保持格式兼容，以支持跨数据集验证与算法泛化能力评估。

常用场景

经典使用场景

在自动驾驶领域，轨迹预测与规划算法的评估高度依赖于能够反映真实世界复杂性的数据集。DeepUrban数据集以其独特的无人机视角，专注于捕捉高密度城市环境中的交通参与者交互行为。该数据集最经典的使用场景是作为轨迹预测与规划模型的基准测试平台，特别是在涉及大量行人与车辆密集交互的十字路口或行人区域。通过提供长达20秒的场景序列和高达95%的脆弱道路使用者比例，DeepUrban使得研究人员能够训练和验证模型在极端拥挤条件下的性能，从而推动算法在复杂城市动态中的适应能力。

衍生相关工作

DeepUrban数据集的发布催生了一系列专注于密集交互建模的衍生研究。以ScePT为代表的场景一致轨迹预测框架在该数据集上得到了广泛验证与性能提升，其基于场景图聚类的方法能够有效处理高密度群体中的交互关系。同时，数据集的集成促进了TrajData统一数据加载器的扩展，使得跨数据集（如nuScenes、Waymo）的联合训练与评估成为可能，推动了如GameFormer等基于Transformer的交互预测模型的演进。这些工作共同深化了对多智能体系统中社会行为建模的理解，并为后续如DiffStack等可微分规划控制堆栈的研发提供了真实世界的高密度交互数据基础。

数据集最近研究

最新研究方向

在自动驾驶领域，轨迹预测与规划的研究正日益聚焦于高密度城市环境下的复杂交互建模。DeepUrban (V1) 数据集以其独特的无人机视角，捕捉了德国等高道路密度区域的密集交通场景，为前沿研究提供了关键数据支撑。当前热点方向包括利用该数据集增强多智能体交互建模能力，特别是在脆弱道路用户（VRU）与车辆密集共存场景下的轨迹预测精度提升。研究表明，将DeepUrban与现有数据集（如nuScenes）结合训练，能显著改善预测指标（如ADE/FDE提升达44%以上），这推动了跨区域泛化能力的探索，并为自动驾驶系统在复杂城市环境中的安全规划提供了新的基准。

相关研究论文

• DeepUrban: Interaction-Aware Trajectory Prediction and Planning for Automated Driving by Aerial Imagery

  慕尼黑应用科学大学·智能车辆实验室 · 2026年