nuReasoning

nuReasoning是由加州大学洛杉矶分校和Motional联合创建的大规模真实世界长尾自动驾驶推理数据集，旨在为复杂驾驶场景中的空间理解、决策制定和反事实推理提供全面监督。该数据集包含2万条时长20秒的驾驶片段，覆盖多城市场景，集成了多摄像头图像、激光雷达点云、高精地图、物体标注以及海量的人工验证推理标注，总计包含超过1000万问答对和5万条行为分析。数据集的构建过程涉及从大规模驾驶日志中挖掘长尾场景，并采用基于视觉语言模型的自动标注与人工专家验证相结合的高效流程。其核心应用领域是推动自动驾驶系统的鲁棒性和可解释性发展，通过提供丰富的推理监督信号，直接提升视觉语言模型在驾驶专用问答上的性能，并增强视觉语言动作模型在复杂、罕见场景下的规划与决策能力。

nuReasoning is a large-scale real-world long-tailed autonomous driving reasoning dataset jointly created by the University of California, Los Angeles (UCLA) and Motional. It aims to provide comprehensive supervision for spatial understanding, decision-making, and counterfactual reasoning in complex driving scenarios. This dataset contains 20,000 20-second-long driving clips covering multiple urban scenarios, integrating multi-camera images, LiDAR point clouds, high-precision maps, object annotations, and a large number of manually verified reasoning annotations. In total, it includes over 10 million question-answer pairs and 50,000 behavior analysis entries. The dataset construction process involves mining long-tailed scenarios from large-scale driving logs, and adopts an efficient workflow that combines visual language model-based automatic annotation and manual expert verification. Its core application areas are promoting the development of robustness and interpretability of autonomous driving systems. By providing rich reasoning supervision signals, it directly improves the performance of visual language models on driving-specific question-answering tasks, and enhances the planning and decision-making capabilities of visual language action models in complex and rare driving scenarios.

原始信息汇总

数据集概述

nuReasoning 是一个以推理为中心的大规模真实世界长尾驾驶数据集与基准，旨在提升自动驾驶在长尾场景下的推理与规划能力。

关键特性

• 规模：包含 20,000 个 20 秒长的真实世界驾驶数据片段。
• 场景：覆盖多种类型的长尾驾驶场景。
• 模态：提供多视角相机、激光雷达点云、自车状态、高清地图和交通信号等丰富的同步观测数据。
• 标注：包含高质量推理标注，涵盖空间推理、驾驶决策推理和反事实推理。

数据格式

• 基于片段：每个片段为自包含的 20 秒真实驾驶片段。
• 推理标注：包括空间推理、决策推理和反事实推理三类。

基准与评估

• 推理 VQA 基准：用于评估模型在驾驶任务中的核心推理能力。
• 规划基准：用于评估自动驾驶规划性能。

主要结果

• 在 nuReasoning 上训练的模型，其推理性能在驾驶任务的所有四项核心能力上均有显著提升。
• 提出的 nuVLA 模型在规划性能上超越了现有最优的自动驾驶规划方法，融合所有推理类型（空间、驾驶、反事实）训练可获得最佳规划表现。

引用信息

• 论文：arXiv preprint arXiv:2605.31572
• 主页：https://nureasoning.github.io/

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，长尾场景的推理能力是系统安全性的关键瓶颈。nuReasoning数据集源于Motional自动驾驶车队的海量行驶日志，通过基于VLM的自动评估器对候选片段进行难度评分与场景类型分类，经人工专家验证后筛选出具有高长尾价值的20秒片段。每个片段以10Hz频率同步采集多视角相机图像、激光雷达点云、高清地图、物体标注及自车状态，并围绕决策关键帧构建结构化推理标注，涵盖空间推理、决策推理与反事实推理三大维度，其中空间推理以1Hz频率标注动态场景几何，决策与反事实推理以0.2Hz频率捕捉决策演化。自动标注结果经两轮人工专家审核与修正，确保标注质量与可扩展性。

特点

nuReasoning在现有自动驾驶数据集中独树一帜，其核心特点在于大规模、长尾覆盖与多维度推理标注的有机结合。数据集包含20,000个片段，总计约105小时，涵盖多个美国城市的多样化长尾场景，如弱势道路使用者、施工区域、动物穿行等。相较于仅支持感知或规划的数据集，nuReasoning提供了247K空间推理帧与57K决策/反事实推理帧，并生成了超过1,000万对视觉问答数据，涵盖几何感知、运动预测、驾驶决策与反事实风险评估。这种结构化、多层次的推理标注使模型能够在统一框架下同时学习场景理解、因果推理与安全权衡。

使用方法

nuReasoning为视觉语言模型与视觉-语言-动作模型提供了统一的训练与评估平台。在推理评测中，模型需基于多视角、多帧图像回答涵盖几何、运动、驾驶与反事实四大类别的问答任务，采用选择题准确率、数值容忍度、坐标命中率及轨迹L2误差等结构化指标进行评估。在规划评测中，模型需预测未来5秒自车轨迹，并通过安全门控的规划分数综合评估碰撞风险、可行驶区域合规性、路径进度、舒适度与拟人度。实验表明，在nuReasoning上微调可显著提升VLM的驾驶推理能力，而将推理监督融入VLA训练则能持续改善规划性能，即使推理输出在推理时被禁用。

背景与挑战

背景概述

nuReasoning 由加州大学洛杉矶分校与 Motional 的研究团队于 2026 年联合创建，旨在填补现有自动驾驶数据集在长尾场景推理能力上的空白。该数据集包含 20,000 个 20 秒长的真实驾驶片段，覆盖拉斯维加斯、匹兹堡等多个城市，同步提供多视角相机图像、激光雷达点云、高清地图及物体标注。其核心研究问题在于：如何通过结构化推理标注——包括空间推理、决策推理和反事实推理——来提升自动驾驶系统在罕见、复杂场景下的理解与决策能力。作为 nuScenes 和 nuPlan 生态系统的延伸，nuReasoning 为视觉-语言模型和视觉-语言-动作模型提供了统一的评估平台，显著推动了可解释、鲁棒的推理驱动型自动驾驶研究。

当前挑战

该数据集面临的核心挑战源于现有系统在长尾场景中推理能力的匮乏。领域问题方面，大多数端到端驾驶模型依赖专家轨迹模仿，难以泛化到需要深层场景理解与因果推断的罕见情形；现有的 VLM 和 VLA 数据集多聚焦于常规驾驶或视觉问答，缺乏对空间-时间、因果及反事实推理的系统性支撑。构建过程中，团队需从海量真实车队日志中高效挖掘高价值长尾片段，开发基于 VLM 的自动评估器对场景难度与类型进行标注，并依赖人工专家进行两轮审核以确保标注质量——例如决策推理的自动标注与专家一致性仅达 84.69%，反事实推理更降至 76.11%，凸显了规模化生成高质量结构化推理数据的艰巨性。

常用场景

经典使用场景

nuReasoning数据集的核心应用在于为长尾自动驾驶场景提供以推理为中心的大规模真实世界基准。与传统数据集侧重感知或规划不同，它专门针对那些罕见、复杂且需要深度场景理解的驾驶情形，例如施工区域、弱势道路使用者、动物穿行及异常交通标志等。研究者利用该数据集训练和评估视觉-语言模型（VLM）与视觉-语言-动作模型（VLA）在空间推理、决策推理和反事实推理三个维度的能力，从而推动自动驾驶系统从简单的轨迹模仿迈向更具可解释性和鲁棒性的推理驱动范式。

解决学术问题

nuReasoning填补了现有自动驾驶数据集在推理监督与评估方面的关键空白。此前数据集的标注多局限于场景描述或问答对，缺乏对空间-时间、因果及反事实推理的系统性覆盖，且无法评估推理能力对下游规划任务的实际影响。该数据集通过提供多层面结构化的推理标注，使研究者能够直接探究推理监督如何提升VLM在驾驶场景中的几何理解、意图推断和风险评估能力，同时验证这些推理能力训练是否有助于VLA模型生成更安全、更合理的规划轨迹。

衍生相关工作

基于nuReasoning，研究者衍生出多项重要的后续工作。其中最具代表性的是nuVLA基线模型，它采用Qwen3-VL作为视觉-语言骨干，结合流匹配扩散Transformer生成轨迹，证明了推理监督能显著提升规划性能。此外，该数据集催生了针对空间感知增强的SpaceDrive、利用反事实自我反思的Counterfactual VLA，以及融合结构化链式推理的Reasoning-VLA等工作。这些研究共同推动了自动驾驶领域从感知驱动向推理驱动范式的转变，为构建更安全、更可解释的端到端系统奠定了数据与基准基础。