nuPlan

nuPlan数据集是由上海交通大学开发的，用于评估端到端自动驾驶模型的闭环反应性模拟基准。该数据集基于大规模真实世界驾驶数据，将长距离驾驶旅程分割成多个可管理的驾驶场景，每个场景包含高层次的导航信息和传感器数据。nuPlan数据集的主要目的是解决现有模拟器在真实性和反应性方面的不足，特别是在高度交互的驾驶场景中。通过提供高保真度的传感器数据和反应性行为模拟，nuPlan数据集为自动驾驶模型的评估和开发提供了强有力的支持。

The nuPlan dataset, developed by Shanghai Jiao Tong University, is a closed-loop reactive simulation benchmark for evaluating end-to-end autonomous driving models. Built on large-scale real-world driving data, this dataset splits long-distance driving journeys into manageable driving scenarios, each containing high-level navigation information and sensor data. The core objective of the nuPlan dataset is to address the shortcomings of existing simulators in terms of realism and reactivity, particularly in highly interactive driving scenarios. By offering high-fidelity sensor data and reactive behavior simulation, the nuPlan dataset provides robust support for the evaluation and development of autonomous driving models.

搜集汇总

数据集介绍

构建方式

nuPlan数据集的构建基于大规模真实世界驾驶数据，通过将长时间驾驶旅程划分为多个可管理的驾驶场景。每个场景包含高级导航信息（如目标点和路线规划）以及沿专家轨迹收集的传感器数据。为了增强数据集的交互性和反应性，研究者引入了Bench2Drive-R生成框架，该框架通过分离行为控制器和生成渲染器，模拟周围车辆的反应，并生成高保真的传感器图像。生成渲染器采用扩散模型，并结合噪声调制和空间一致性机制，确保图像序列的时空一致性。

特点

nuPlan数据集的特点在于其反应性闭环评估能力，能够模拟真实世界中的驾驶场景，并提供高保真的传感器数据。数据集不仅包含静态背景信息，还通过行为控制器动态生成周围车辆的反应，从而模拟复杂的交通交互场景。此外，生成渲染器通过检索机制和3D位置编码，确保场景级别的渲染保真度，避免生成虚假的视觉伪影。数据集的设计特别适用于端到端自动驾驶模型的闭环评估，能够有效捕捉模型在复杂交通场景中的规划能力。

使用方法

nuPlan数据集的使用方法主要包括闭环仿真和端到端自动驾驶模型的评估。研究者可以将Bench2Drive-R框架集成到nuPlan中，通过生成高保真的传感器图像序列，模拟自动驾驶车辆在不同驾驶行为下的反应。数据集支持多视角传感器图像的生成，并通过行为控制器动态更新场景中的车辆状态。评估时，研究者可以通过比较生成图像的质量、感知模型的性能以及自动驾驶模型的规划能力，验证模型在真实世界中的表现。此外，数据集还支持开放环评估，通过测量预测轨迹与专家轨迹之间的位移误差，评估模型的规划精度。

背景与挑战

背景概述

nuPlan数据集是由上海交通大学的研究团队于2024年提出的，旨在为端到端自动驾驶（E2E-AD）模型提供一个反应式闭环评估框架。该数据集的核心研究问题在于如何通过生成模型将真实世界的数据转化为具有高保真度和一致性的传感器数据，以支持自动驾驶模型的闭环仿真。nuPlan的提出填补了现有仿真器（如CARLA）与真实世界之间的差距，特别是在传感器渲染和行为模拟方面的不足。通过结合生成模型和行为控制器，nuPlan能够模拟周围车辆的反应，从而为自动驾驶系统提供更加真实的测试环境。该数据集对自动驾驶领域的影响力在于其首次将生成模型与闭环仿真相结合，为E2E-AD模型的评估提供了新的基准。

当前挑战

nuPlan数据集在构建过程中面临的主要挑战包括两个方面。首先，在领域问题方面，现有的自动驾驶评估方法存在显著的局限性。开环评估依赖于专家轨迹，无法反映模型在复杂交互场景中的规划能力；而闭环仿真器虽然能够提供反应式评估，但其渲染和行为模拟与真实世界存在较大差距。nuPlan通过生成模型解决了这一问题，但如何在生成过程中保持时空一致性仍是一个挑战。其次，在数据集构建过程中，生成模型的设计需要兼顾图像保真度、控制依从性和时空一致性。特别是在自回归生成过程中，如何避免误差累积导致的生成质量下降是一个关键问题。此外，如何在生成过程中引入参考图像以消除背景不确定性，同时避免对参考图像的过度依赖，也是构建过程中的一大挑战。

常用场景

经典使用场景

nuPlan数据集在自动驾驶领域中被广泛用于端到端驾驶模型的闭环评估。其经典使用场景包括通过生成模型模拟真实世界的驾驶环境，评估自动驾驶系统在复杂交通场景中的反应能力。通过结合行为控制器和生成渲染器，nuPlan能够提供高保真的传感器数据，模拟动态交通流中的车辆交互，从而为自动驾驶算法的开发和验证提供可靠的测试平台。

解决学术问题

nuPlan数据集解决了自动驾驶研究中端到端模型评估的难题。传统的开环评估方法依赖于专家轨迹的对比，无法反映模型在动态环境中的规划能力。而现有的闭环仿真器如CARLA在渲染和行为模拟上与现实世界存在较大差距。nuPlan通过生成模型实现了高保真、反应式的闭环仿真，能够准确评估模型在复杂交通场景中的表现，填补了现有评估方法的空白。

衍生相关工作

nuPlan数据集衍生了许多相关研究工作，特别是在生成模型和闭环仿真领域。例如，基于nuPlan的Bench2Drive-R框架通过引入行为控制器和生成渲染器，实现了高保真的反应式闭环仿真。此外，许多研究利用nuPlan数据集开发了新的生成模型，如MagicDrive和Panacea，这些模型通过生成多样化的驾驶场景，推动了自动驾驶感知和规划算法的进步。nuPlan还为闭环仿真平台如NAVSIM提供了数据支持，进一步扩展了其在自动驾驶研究中的应用范围。