nuPlan

nuPlan是由Motional创建的全球首个基于机器学习的自动驾驶规划基准数据集，旨在解决现有自动驾驶规划系统评估的不足。该数据集包含来自美国和亚洲四个城市的1500小时人类驾驶数据，涵盖多样化的交通模式。数据集内容丰富，包括激光雷达点云、摄像头图像、定位信息和转向输入等，通过高效的离线感知系统进行标注，确保数据质量。创建过程中，数据集自动标注复杂场景，如车道变更、交通信号交互等，以支持场景特定评估。nuPlan的应用领域广泛，主要用于评估和改进自动驾驶车辆的长期规划能力，通过提供闭环模拟框架和特定规划指标，推动自动驾驶技术的发展。

nuPlan is the world's first machine learning-based autonomous driving planning benchmark dataset created by Motional, aiming to address the shortcomings in the evaluation of existing autonomous driving planning systems. This dataset contains 1,500 hours of human driving data from four cities in the United States and Asia, covering diverse traffic patterns. It includes rich content such as LiDAR point clouds, camera images, localization information, steering inputs and more, and is annotated via an efficient offline perception system to ensure data quality. During the creation process, the dataset automatically annotates complex scenarios including lane changes and traffic signal interactions to support scenario-specific evaluation. nuPlan has a wide range of application scenarios, and is mainly used to evaluate and improve the long-term planning capabilities of autonomous vehicles. By providing a closed-loop simulation framework and specific planning metrics, it promotes the development of autonomous driving technology.

搜集汇总

数据集介绍

构建方式

nuPlan数据集的构建方式体现了对现实世界自动驾驶场景的深入理解与精准捕捉。数据收集阶段，研究者们使用了31辆配备相同传感器的车辆，在波士顿、匹兹堡、拉斯维加斯和新加坡四个城市进行手动驾驶，确保了数据的质量与多样性。传感器的配置包括5个激光雷达、8个摄像头、GPS和IMU，覆盖了360度的环境，并最小化了盲区。此外，为了确保数据的高质量同步，激光雷达传感器与系统时间同步，而摄像头曝光则根据激光雷达的扫描周期进行触发，并进行了合并与坐标转换。数据集的分割采用了地理重叠和时间隔离的策略，以确保训练、验证和测试集之间的平衡。数据集还包括详细的2D高分辨率语义地图，为规划任务提供了重要的环境信息。

使用方法

nuPlan数据集的使用方法涉及数据预处理、规划算法训练和性能评估。首先，研究者需要根据任务需求对数据进行预处理，如选择合适的传感器数据、进行场景分割等。然后，研究者可以使用数据集训练和评估不同的规划算法，包括基于规则的规划、基于学习的规划和混合规划。在评估阶段，nuPlan提供了开放环和闭环两种模拟环境，并设计了一套指标体系，包括平均位移误差、最终位移误差、平均航向误差、最终航向误差和漏检率等，用于评估规划轨迹与人类驾驶轨迹的接近程度。闭环模拟则考虑了与其他交通参与者的交互，并使用一系列指标评估规划器的安全性和舒适性，如无责任碰撞、可行驶区域合规性、驾驶方向合规性、时间对碰撞等。nuPlan还提供了一个开放源代码的闭环模拟器和评估框架，方便研究者进行实验和评估。

背景与挑战

背景概述

自动驾驶领域的研究正经历一场深刻的变革，从传统的手工制作方法转向基于机器学习（ML）的感知和预测技术。然而，在同样关键的规划任务中，ML技术的应用却相对缓慢。nuPlan数据集的提出正是为了解决这一难题。该数据集由Napat Karnchanachari、Dimitris Geromichalos等研究人员于2021年创建，旨在测试ML规划器处理多样化驾驶场景并做出安全高效决策的能力。数据集包括来自4个城市（拉斯维加斯、波士顿、匹兹堡和新加坡）的1282小时多样化驾驶场景，并包含高质量的自动标注物体轨迹和交通灯数据。nuPlan的发布为自动驾驶领域的研究提供了宝贵的资源，推动了学习型规划技术的发展，并促进了传统、学习型和混合规划器之间的比较研究。

当前挑战

nuPlan数据集及相关框架的发布，虽然为自动驾驶领域的研究提供了强大的工具，但也面临着一系列挑战。首先，学习型规划器在开放环设置下表现良好，但在闭环设置下却难以克服数据分布的偏移问题，导致其在实际驾驶场景中的泛化能力不足。其次，现有的学习型规划器在模拟真实驾驶场景时，往往难以模拟多车道交互和多车碰撞等复杂情况，导致模拟结果与实际情况存在较大差异。此外，nuPlan数据集虽然规模庞大，但仍然缺乏一些极端天气和夜间驾驶数据，这可能会限制其在更广泛场景下的应用。最后，尽管混合型规划器在nuPlan挑战中表现出色，但其设计和实现仍然需要进一步研究和优化，以实现更好的性能和安全性。

常用场景

经典使用场景

nuPlan数据集是自动驾驶领域首个真实世界数据集和基准测试，旨在测试基于机器学习（ML）的规划器处理多样化驾驶场景并做出安全高效决策的能力。该数据集包含来自4个城市的1282小时多样化驾驶场景，包括高质量自动标注的物体轨迹和交通灯数据。nuPlan还提供了一种模拟和评估框架，使规划器的行为能够在闭环中进行模拟，以考虑与其他交通参与者的交互。

解决学术问题

nuPlan数据集解决了自动驾驶领域长期存在的基于ML的规划器泛化能力不足的问题。由于驾驶场景通常遵循长尾分布，这使得从有限数量的示例中学习驾驶场景变得困难。nuPlan通过提供大规模的真实世界数据集，使规划器能够在多样化的场景中进行训练和评估，从而提高了泛化能力。此外，nuPlan还提供了详细的学术分析，比较了基于ML的规划器和传统方法的性能差异，为自动驾驶领域的学术研究提供了重要的参考。

实际应用

nuPlan数据集在实际应用中具有重要意义。它可以帮助自动驾驶系统开发商测试和评估其规划算法的性能，并识别潜在的安全风险。通过在nuPlan提供的模拟和评估框架中进行测试，开发人员可以模拟自动驾驶车辆在不同场景下的行为，并评估其在遵守交通规则、避免碰撞和实现目标方面的表现。此外，nuPlan数据集还可以用于训练和优化自动驾驶系统的感知和预测模型，从而提高整个系统的性能和安全性。

数据集最近研究

最新研究方向

基于学习的规划：nuPlan在真实世界自动驾驶中的基准测试

相关研究论文

• Towards learning-based planning:The nuPlan benchmark for real-world autonomous driving

  Motional · 2024年