PDR

PDR数据集是由中国科学院自动化研究所模式识别国家重点实验室等机构构建的，旨在用于闭环自主驾驶中的决策推理。该数据集包含210k个多样化和高质量的数据样本，通过自动化标注流程捕捉了在Bench2Drive基准测试中的完整决策推理过程，包括场景理解、交通标志识别、关键对象识别和元动作等阶段。所有推理步骤都经过严格的人工验证，确保数据质量。该数据集的发布将为学习结构化和基于因果关系的决策推理提供基础。The PDR dataset is developed by institutions including the State Key Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, and other relevant entities, with the aim of supporting decision-making and reasoning tasks in closed-loop autonomous driving. It includes 210k diverse, high-quality data samples that capture the full decision-making and reasoning process in the Bench2Drive benchmark via an automated annotation pipeline, covering stages such as scene understanding, traffic sign recognition, key object recognition, and meta-actions. All reasoning steps have undergone strict manual verification to guarantee data quality. The release of this dataset will provide a solid foundation for learning structured and causality-based decision-making reasoning.

原始信息汇总

ReasonPlan数据集概述

基本信息

• 数据集名称: ReasonPlan
• 研究领域: 自动驾驶
• 主要功能: 统一场景预测与决策推理的闭环自动驾驶系统

技术特点

• 核心能力: 结合场景预测和决策推理的闭环系统
• 技术分类: 计算机视觉(cs.CV)

当前状态

• 代码状态: 正在清理和组织代码
• 开源计划: 将开源全部训练和推理代码

学术引用

• 文献标题: ReasonPlan: Unified Scene Prediction and Decision Reasoning for Closed-loop Autonomous Driving
• 作者: Xueyi Liu等
• 发表年份: 2025
• 文献编号: arXiv:2505.20024

搜集汇总

数据集介绍

构建方式

PDR数据集是一个面向自动驾驶闭环规划的大规模决策推理数据集，包含21万个多样化和高质量的样本。该数据集通过自动化标注流程构建，扩展了Bench2Drive提供的原始每帧注释，包括自车状态、传感器数据和周围车辆、行人及交通标志的详细元数据。为确保推理数据的质量，整个标注过程分为场景理解、交通标志识别、关键对象识别与风险评估以及元动作四个阶段，每个推理步骤均经过严格的人工验证。

特点

PDR数据集的特点在于其专注于轨迹规划和闭环场景中的复杂决策推理。数据集通过结构化推理标签增强了原始注释，包括场景理解、交通标志识别、关键对象识别与风险评估以及元动作等多个推理阶段。每个推理阶段都经过精心设计，以确保数据的高质量和可靠性。例如，场景理解阶段利用高清地图信息准确识别驾驶上下文，交通标志识别阶段涵盖多种交通标志状态，关键对象识别阶段则提取精细的对象属性以进行风险估计。这些特点使得PDR数据集能够有效支持自动驾驶模型在复杂动态环境中的推理和规划任务。

使用方法

PDR数据集主要用于训练和评估基于多模态大语言模型（MLLM）的自动驾驶系统。在使用该数据集时，研究人员可以通过自动化标注流程生成的推理标签，训练模型进行场景理解、交通标志识别、关键对象识别与风险评估以及元动作推理。数据集的结构化推理过程支持模型在闭环场景中进行多步推理，从而提升其决策能力和泛化性能。此外，PDR数据集还可用于零样本评估，测试模型在未见场景中的推理和规划能力。数据集的所有推理步骤均经过人工验证，确保了其可靠性和一致性，为自动驾驶研究提供了坚实的基础。

背景与挑战

背景概述

PDR（Planning-oriented Decision Reasoning）数据集由中国科学院自动化研究所、中国科学院大学和EACON等机构的研究团队于2025年提出，旨在推动基于多模态大语言模型（MLLM）的闭环自动驾驶决策研究。该数据集包含21万高质量样本，通过自动化标注流程构建，覆盖场景理解、交通标志识别、关键物体风险评估和元动作规划等层次化推理任务。作为首个面向规划决策的闭环驾驶数据集，PDR填补了传统开放环评评估与真实驾驶需求间的鸿沟，其创新性的链式思维标注框架为解释性自动驾驶系统提供了关键训练基础，在Bench2Drive和DOS基准测试中推动模型性能提升19%以上。

当前挑战

PDR数据集面临的核心挑战体现在问题领域和构建过程两个维度。在技术层面，需解决多模态大语言模型在闭环驾驶中的三大瓶颈：单一文本监督导致的场景理解不足、缺乏显式推理过程限制因果决策能力，以及规划导向数据稀缺制约模型泛化性。数据构建过程中，动态场景的时空对齐、高风险驾驶案例的平衡采样、多视角传感器数据的语义一致性标注构成主要难点。此外，自动化标注流程需克服CARLA仿真环境中物体遮挡、光照突变等噪声干扰，而决策链的人工验证则面临推理逻辑复杂性与标注效率间的矛盾。

常用场景

经典使用场景

PDR数据集在自动驾驶领域中被广泛应用于端到端闭环驾驶系统的决策推理任务。该数据集通过整合多模态大语言模型（MLLMs）的视觉-语言推理能力，支持场景预测与决策链的联合优化。其经典使用场景包括复杂交互环境下的轨迹规划、动态障碍物避障以及交通标志识别，尤其在Bench2Drive和DOS等闭环评测基准中展现了卓越的性能。

实际应用

在实际应用中，PDR数据集支撑了城市道路和高速公路场景下的智能驾驶系统开发。其标注的21万高质量样本涵盖车道变更决策、突发障碍物响应、交通信号遵守等关键场景，被用于训练具备零样本泛化能力的驾驶模型。例如在CARLA仿真平台上，基于PDR的ReasonPlan框架成功处理了71%的未见过交叉口场景，显著优于传统方法。

衍生相关工作

PDR数据集催生了多个里程碑式研究，包括DriveVLM的视觉语言决策蒸馏、Senna的多模态轨迹生成框架，以及VLP的轻量化规划头设计。这些工作通过复用PDR的结构化推理标注，将MLLMs的常识推理能力迁移至自动驾驶领域。特别地，Reason2Drive和TOKEN等研究进一步扩展了该数据集在长尾场景和物体级推理中的应用边界。