VRUD

VRUD数据集由吉林大学等机构联合创建，是一个专注于复杂城市混合交通场景中车辆与弱势道路使用者（VRU）交互的无人机采集数据集。该数据集包含4小时4K/30Hz的视频记录，涵盖11,479条VRU轨迹和1,939条车辆轨迹，其中VRU占比高达87%，远超现有基准数据集。数据采集自深圳典型'城中村'，具有交通监管松散和极端遮挡等特点，并通过新型向量碰撞时间阈值提取了4,002个多智能体交互场景。该数据集为提升自动驾驶系统在复杂非结构化城市场景中的安全性能提供了宝贵资源，主要应用于轨迹预测、路径规划和社会合规驾驶策略开发等领域。VRUD Dataset was jointly created by Jilin University and other institutions. It is a drone-captured dataset focusing on the interactions between vehicles and vulnerable road users (VRUs) in complex urban mixed traffic scenarios. The dataset contains 4 hours of 4K/30Hz video recordings, covering 11,479 VRU trajectories and 1,939 vehicle trajectories, with VRUs accounting for as high as 87% of the total, which is far higher than that of existing benchmark datasets. The data was collected in typical "urban villages" in Shenzhen, which feature loose traffic supervision and extreme occlusions. A total of 4,002 multi-agent interaction scenarios were extracted using a novel vector-based collision time threshold method. This dataset provides a valuable resource for improving the safety performance of autonomous driving systems in complex unstructured urban scenarios, and is mainly applied to trajectory prediction, path planning and the development of socially compliant driving strategies and other fields.

原始信息汇总

VRUD: 无人机数据集用于混合交通中的复杂车辆-弱势道路使用者交互

摘要

为解决L4级自动驾驶在混合交通环境中因弱势道路使用者（VRU）密度高、交互行为不可预测而面临的挑战，本研究提出了一个高效、高精度的无人机数据集构建方法，并建立了车辆-弱势道路使用者交互数据集（VRUD）。该数据集在深圳典型的“城中村”采集，具有交通监管松散和极端遮挡的特点。数据集包含4小时的4K/30Hz录像、11,479条VRU轨迹和1,939条车辆轨迹。VRU在所有交通参与者中占比约87%，远超现有基准。此外，基于新颖的VTTC阈值提取了4,002个多智能体交互场景，并配有标准的OpenDRIVE高精地图。

数据集概览

• 总时长：4小时
• 录像规格：4K/30Hz
• VRU轨迹数：11,479
• 车辆轨迹数：1,939
• 交互场景数：4,002
• VRU占比：87%

采集地点

数据在中国深圳一个城中村内居民区附近的两个不规则交叉口采集。交通参与者高度多样化，包括公交车、网约车、外卖电动自行车和行人。周边环境包括公交站、公寓和小吃街，无交通监控摄像头。

数据验证

使用配备RT惯性导航设备的测试车辆验证数据准确性。通过软目标车辆进行追逐操作，将相对距离和速度与地面真值进行比较。

基于VTTC的交互提取

引入向量碰撞时间（VTTC）作为替代安全度量来量化交互相关性。采用1.53秒的上四分位数（Q3）值作为过滤阈值，以最大化复杂场景的保留并消除非交互噪声。

数据集统计

• 类别分布与平均速度统计：行人和摩托车占主导；摩托车在非结构化环境中表现出较高的交通效率。
• 与现有数据集的比较：

  数据集	时长	轨迹数	道路使用者类型	高精地图	采样频率	行为提取
  INTERACTION	16.5 h	40054	行人、自行车、汽车	lanelet2	10 Hz	否
  InD	10.0 h	13599	行人、自行车、汽车、公交车	lanelet2	25 Hz	否
  SIND	7.0 h	13248	汽车、公交车、卡车、自行车、摩托车、三轮车、行人	lanelet2	10 Hz	否
  VRUD (本数据集)	4.0 h	12888	汽车、公交车、卡车、自行车、摩托车、三轮车、行人	OpenDRIVE	30 Hz	是

行为特征

自车保持战术速度走廊（17.5–20.0 km/h）以管理潜在冲突。VTTC分布持续聚集在0.7秒左右，作为交互相关性的代理。0.7秒阈值为提取高价值、交互关键样本建立了稳健的定量过滤器。

贡献

1. 大规模、高分辨率数据集：专注于混乱的城市环境，具有多样化的VRU类型和独特的混合交通特征。
2. 全面的数据处理流程：基于新颖的VTTC阈值，配有OpenDRIVE高精地图的标准化场景库。
3. 详细的统计分析：揭示独特的交互模式，以支持下游自动驾驶任务。

数据格式

• 轨迹数据：静态（尺寸、位置、类别、航向）和动态（速度、加速度、偏航率）属性，CSV格式，30 Hz。
• 地图数据：OpenDRIVE高精地图、高分辨率航空底图、校准和转换系数。所有地理信息均已匿名化。
• 交互行为数据：场景索引，包含自车ID、时间窗口和相关交通参与者标识符。

获取数据集

VRUD完全开源。

• 数据集地址：https://zzi4.github.io/VRUD/
• GitHub仓库：https://github.com/zzi4/VRUD

搜集汇总

数据集介绍

构建方式

在自动驾驶系统向高阶演进的过程中，复杂城市混合交通环境的数据稀缺构成了关键瓶颈。VRUD数据集采用无人机航拍技术，于深圳典型城中村区域进行采集，针对松散监管、极端遮挡的非结构化场景。数据采集配置了4K分辨率与30Hz帧率，飞行高度设定为80米，确保了小目标行为的精准获取。通过单视频稳定与多视频对齐预处理，结合YOLO11定向检测与ByteTrack多目标跟踪，生成了高精度轨迹。后续利用Rauch-Tung-Striebel平滑与基于向量碰撞时间的交互场景提取，构建了包含轨迹、高清地图与标准化交互场景库的完整数据体系。

特点

该数据集的核心特征体现在其场景的代表性与数据的丰富维度。VRUD聚焦于交通监管薄弱、参与者行为高度随机的城中村环境，其中弱势道路使用者占比高达87%，远超现有基准数据集，精准捕捉了混合交通中的长尾边缘案例。数据不仅提供七类交通参与者的原始高精度轨迹，更创新性地引入了向量碰撞时间阈值，从原始流中自动化提取出4002个多智能体交互场景，并配以标准OpenDRIVE格式高清地图。这种从原始轨迹到结构化场景库的升华，为交互感知的预测模型训练与端到端系统验证提供了即用型资源。

使用方法

VRUD数据集为复杂城市环境下自动驾驶系统的研发与验证提供了多层次支持。研究人员可直接利用其高精度轨迹与高清地图，进行多智能体轨迹预测、行为意图识别等模型的训练与测试。数据集提供的标准化交互场景库，允许用户绕过繁琐的数据预处理，直接加载以自我车辆为中心、包含周边关键交互目标的场景样本，用于决策规划算法的仿真验证。此外，基于向量碰撞时间分析所揭示的交互强度规律，特别是0.7秒的阈值，可作为高效过滤器，帮助研究者从海量数据中快速定位高价值交互样本，加速安全性与社会合规性方面的研究迭代。

背景与挑战

背景概述

随着自动驾驶系统向L4级及以上演进，复杂城市混合交通环境中车辆与弱势道路使用者（VRU）的交互建模已成为关键瓶颈。VRUD数据集由吉林大学国家汽车底盘集成与仿生重点实验室、杜伦大学计算机科学系及Heriot-Watt大学等机构的研究团队于2026年创建，旨在填补现有开源数据集在非结构化、高密度城市混合交通场景中的数据空白。该数据集聚焦于深圳典型“城中村”环境，其核心研究问题在于捕捉松散交通监管与极端遮挡条件下，车辆与行人、摩托车、三轮车等VRU之间高度不确定、不可预测的交互行为。VRUD以其高达87%的VRU参与比例和基于向量碰撞时间（VTTC）阈值提取的4002个多智能体交互场景，为提升自动驾驶系统在复杂边缘场景中的安全性与社会协作性能提供了宝贵的真实世界轨迹数据基础，对推动轨迹预测、行为识别及端到端决策模型的发展具有显著影响力。

当前挑战

VRUD数据集致力于解决城市混合交通中车辆与弱势道路使用者交互建模这一核心领域问题，其面临的首要挑战在于如何精准刻画VRU高度随机、协商驱动的行为模式，以克服现有模型在非规则化场景中预测与规划能力不足的局限。在构建过程中，研究团队遭遇了多重技术挑战：其一，在数据采集环节，需在缺乏交通监控的城中村环境中，通过无人机航拍平衡高分辨率（4K/30Hz）与飞行高度（80米），以在保护隐私的同时清晰捕捉小目标行为；其二，在数据处理阶段，必须克服由无人机振动和多批次起降导致的视频抖动与视场偏差，通过单视频稳定化与多视频对齐技术确保轨迹提取的坐标系统一性与精度；其三，在行为定义与提取层面，需创新性地提出向量碰撞时间（VTTC）度量，以量化交互相关性，并从海量轨迹中有效过滤出具有研究价值的多智能体交互场景，避免非交互噪声的干扰。

常用场景

经典使用场景

在自动驾驶系统研发领域，VRUD数据集因其聚焦于高密度、非结构化城市混合交通场景而成为经典研究工具。该数据集通过无人机航拍捕捉深圳典型城中村环境中的车辆与弱势道路使用者交互轨迹，为学者提供了分析混沌交通流中多智能体行为模式的珍贵数据源。其经典应用体现在训练和验证轨迹预测模型，特别是在行人、摩托车等VRU行为高度不确定且存在严重遮挡的条件下，模型能够学习到更为复杂的社会协同驾驶策略。

衍生相关工作

基于VRUD数据集所构建的高精度轨迹与交互场景库，已衍生出多项经典研究工作。例如，研究者利用其高比例VRU轨迹数据开发了专注于行人-车辆异构交互的轨迹预测模型，提升了在遮挡严重环境下的预测准确性。同时，该数据集支持的向量化碰撞时间度量启发了新型替代安全指标的设计，用于量化混合交通流的交互强度。这些工作共同推动了无人机数据在自动驾驶安全验证、行为分析与端到端系统训练等领域的深入应用。

数据集最近研究

最新研究方向

在自动驾驶领域，尤其是在面向城市环境的L4级自动驾驶系统开发中，复杂混合交通场景下的车辆与弱势道路使用者（VRU）的交互建模已成为关键瓶颈。VRUD数据集以其独特的采集视角和内容构成，为这一前沿方向提供了稀缺的数据资源。该数据集聚焦于深圳典型“城中村”这类交通监管松散、遮挡严重的非结构化环境，其高达87%的VRU参与比例远超现有基准，精准捕捉了行人、摩托车、三轮车等参与者的高度不确定行为。基于创新的向量碰撞时间（VTTC）阈值，数据集从原始轨迹中提取了4002个多智能体交互场景，并辅以标准OpenDRIVE高精地图，为端到端决策模型的训练与验证、社会协同驾驶策略的开发以及长尾边缘案例的安全评估，奠定了至关重要的数据基础。其开源发布有望加速复杂城市环境下自动驾驶安全性与社会合规性研究的迭代进程。

相关研究论文

• VRUD: A Drone Dataset for Complex Vehicle-VRU Interactions within Mixed Traffic

  吉林大学·汽车底盘集成与仿生国家重点实验室; DRIVEResearch; 赫瑞瓦特大学工程学院与物理科学学院; 杜伦大学计算机科学系 · 2026年