PAD-Highway

PAD-Highway 数据集是一个用于个性化自动驾驶行为分析的闭循环基准，基于 Highway-Env 模拟器构建。该数据集包含 250 小时的高质量视频，并带有详细标注，旨在促进个性化自动驾驶的研究。数据集由规则驱动和人类驱动两部分组成，共收集了 235 小时的规则驱动数据和 25 小时的人类驾驶数据，包含 32,000 个视频片段。数据集提供了自动驾驶车辆的环境信息、动作、速度和坐标等参数，可用于训练和评估个性化自动驾驶模型。

The PAD-Highway dataset is a closed-loop benchmark for personalized autonomous driving behavior analysis, built on the Highway-Env simulator. This dataset contains 250 hours of high-quality videos with detailed annotations, aiming to facilitate research on personalized autonomous driving. The dataset consists of two parts: rule-driven and human-driven. A total of 235 hours of rule-driven data and 25 hours of human driving data have been collected, including 32,000 video clips. The dataset provides parameters including environmental information, actions, speed and coordinates of autonomous vehicles, which can be utilized to train and evaluate personalized autonomous driving models.

搜集汇总

数据集介绍

构建方式

PAD-Highway数据集基于Highway-Env模拟器构建，通过规则驱动和人工驾驶两种模式采集数据。规则驱动部分利用预设交通规则生成大规模驾驶决策数据，而人工驾驶部分则通过20名受试者在模拟环境中操作以捕捉人类驾驶行为特征。数据集最终整合了235小时的规则生成数据和25小时人工驾驶数据，共计250小时的高质量标注视频，覆盖32,000段连续30秒的驾驶场景，采样频率为10Hz。每帧数据包含鸟瞰图像、车辆状态参数及对应动作标签，并通过多模态标注系统实现了场景描述的细粒度标注。

特点

该数据集的核心特点体现在三个方面：多模态融合性（同步采集视觉BEV帧、车辆运动参数及文本指令）、个性化驾驶模式标注（针对慢速/正常/快速三种驾驶风格进行数据分类）以及闭环评估体系（集成成功率、平均速度、安全距离保持率等9项量化指标）。特别值得注意的是其危险等级标注机制，为每个潜在驾驶动作分配0-9分的风险评分，并引入<NOT>标签标识禁止动作，为个性化自动驾驶决策提供了显式风险评估依据。数据分布上呈现出明显的长尾特性，其中保持车道动作占比达56%，而变道与加减速动作合计不足44%。

使用方法

使用该数据集需遵循两阶段流程：首先利用28,000段规则生成视频进行模型预训练，掌握基础驾驶策略与环境理解能力；随后采用3,000段人工驾驶数据实施监督微调，使模型适应人类决策模式。输入层需整合三组文本提示（系统指令、个性化模式指令和车辆历史状态队列）与当前BEV图像，通过多模态大语言模型进行联合编码。输出层采用链式推理机制，依次生成场景描述、各动作危险等级评估及最终决策动作。评估时需在30个随机种子生成的测试场景中，综合考量驾驶效率、安全性与舒适度指标，特别注意不同驾驶模式在危险等级阈值上的差异性设置。

背景与挑战

背景概述

PAD-Highway数据集由北京理工大学、Megvii Technology和早稻田大学的研究团队于2025年提出，旨在推动个性化自动驾驶（PAD）行为分析的发展。该数据集基于Highway-Env模拟器构建，包含250小时的高质量标注视频数据，涵盖慢速、正常和快速三种驾驶模式。通过结合多模态大语言模型（MLLM），PAD-Highway不仅支持场景理解、危险等级评估和动作决策的闭环评估，还为个性化驾驶行为的研究提供了标准化测试平台。其创新性在于首次将危险等级量化引入自动驾驶决策框架，显著提升了驾驶模式切换的安全性和可解释性。

当前挑战

PAD-Highway面临的挑战主要体现在两方面：领域问题层面，需解决多模态信息融合的实时性难题（如文本提示与视觉帧的语义对齐），以及不同驾驶模式下决策分布差异导致的模型泛化瓶颈；数据构建层面，需平衡规则生成数据与人类驾驶数据的比例（235小时规则数据vs25小时人类数据），确保模型既能覆盖交通规则约束又能学习人类驾驶偏好。此外，危险等级的动态评估需要精确建模速度、车距等多变量关系，而模拟器与现实场景的域差距也限制了模型的直接迁移能力。

常用场景

经典使用场景

PAD-Highway数据集在个性化自动驾驶研究中扮演了关键角色，其经典使用场景包括模拟多车道高速公路环境下的驾驶决策。通过结合多模态大语言模型（MLLM），该数据集支持对驾驶风格（如慢速、正常、快速）的动态切换评估，并基于实时鸟瞰图（BEV）和文本提示实现场景理解、风险等级预测与动作决策的闭环验证。

衍生相关工作

该数据集催生了多个创新研究方向：DriveGPT4利用其多模态框架开发了可解释性驾驶系统；LMDrive扩展了人类指令与传感器融合的决策方法；Dilu则基于危险等级指标构建了知识驱动的反思模块。后续研究进一步将基准扩展至CARLA等复杂仿真平台，推动了个性化驾驶从理论到工程的转化。

数据集最近研究

最新研究方向

近年来，PAD-Highway数据集在个性化自动驾驶领域的研究方向主要集中在多模态大语言模型（MLLM）的应用与闭环决策系统的优化上。该数据集通过结合流式视频帧与个性化文本提示，实现了场景理解、危险等级评估和动作决策的闭环控制。前沿研究重点包括如何通过MLLM提升驾驶行为的个性化适配能力，以及如何在复杂交通环境中动态调整驾驶模式。此外，PAD-Highway的推出为学术界提供了首个专注于个性化驾驶行为分析的闭环基准测试平台，推动了自动驾驶技术在安全性、舒适性和效率方面的多维度评估。相关研究还探讨了危险等级建模对决策透明度的提升，以及不同驾驶模式（如慢速、正常、快速）在仿真环境中的性能对比，为实际道路测试提供了重要参考。

相关研究论文

• PADriver: Towards Personalized Autonomous Driving

  北京理工大学、Megvii Technology、早稻田大学 · 2025年