CoReVLA

CoReVLA数据集是一个用于端到端自动驾驶框架的双阶段数据集，旨在提高在长尾场景中的性能。数据集通过数据收集和行为细化两个阶段进行构建。首先，模型在多个开源驾驶问答数据集上进行监督微调，以获取对驾驶场景的基础理解。然后，CoReVLA在CAVE模拟平台中部署，从实时交互中收集司机接管数据。每个接管都表示CoReVLA无法可靠处理的长期场景。最后，通过直接偏好优化(DPO)对模型进行细化，使其能够直接从人类偏好中学习，从而避免由手动设计的奖励造成的奖励黑客攻击。

The CoReVLA dataset is a two-stage dataset tailored for end-to-end autonomous driving frameworks, aiming to improve performance in long-tail driving scenarios. It is constructed through two phases: data collection and behavior refinement. First, the model undergoes supervised fine-tuning on multiple open-source driving question-answering datasets to gain a foundational understanding of driving scenarios. Subsequently, CoReVLA is deployed on the CAVE simulation platform to collect human driver takeover data from real-time interactions. Each takeover represents a long-tail scenario that CoReVLA cannot handle reliably. Finally, the model is refined via Direct Preference Optimization (DPO), allowing it to learn directly from human preferences and thereby avoid reward hacking induced by manually designed reward functions.

搜集汇总

数据集介绍

构建方式

在自动驾驶领域应对长尾场景的挑战，CoReVLA数据集通过双重阶段构建流程实现数据采集与行为优化。首先整合多个开源驾驶问答数据集进行监督微调，建立基础场景理解能力；随后在CAVE虚拟仿真平台中部署人机协同测试环境，实时记录驾驶员接管事件作为关键长尾场景样本；最终采用直接偏好优化技术，将人类干预行为转化为对齐信号，实现从稀疏数据中高效学习安全驾驶策略。

特点

该数据集的核心价值在于其聚焦自动驾驶安全关键场景的稀缺数据资源。通过人机协同测试框架捕获的接管事件，不仅包含视觉场景序列与车辆控制指令，还融合了驾驶员的实时注意力分布数据，形成多模态交互记录。其独特之处在于将仿真环境中的动态决策过程转化为结构化问答对，通过链式思维标注实现从感知到决策的可解释推理路径，为视觉语言动作模型提供兼具认知深度与行为细粒度的训练样本。

使用方法

研究者可依托该数据集构建端到端自动驾驶模型的持续学习流程。初始阶段利用监督微调数据训练基础场景理解能力，随后在闭环仿真中部署模型并收集失效案例。通过直接偏好优化算法对比模型原始决策与人类接管行为，驱动策略向安全方向演进。该流程支持迭代优化，模型在Bench2Drive等基准测试中展现出的场景泛化能力，验证了其在实际复杂交通环境中的应用潜力。

背景与挑战

背景概述

自动驾驶系统在常规场景已取得显著进展，但在长尾安全关键场景中的性能仍存在局限。CoReVLA数据集由同济大学方诗宇等研究者于2025年提出，旨在通过视觉语言动作模型的持续学习框架解决长尾场景下的决策难题。该框架融合了开源驾驶问答数据与虚拟仿真环境中的人类接管数据，构建起从感知到决策的端到端学习范式。其在Bench2Drive基准测试中达到72.18驾驶评分和50%成功率，显著推动了认知驱动型自动驾驶系统的发展。

当前挑战

该数据集主要应对两大核心挑战：在领域问题层面，传统方法因长尾场景数据稀疏导致推理能力不足，难以处理突发危险情境；在构建过程中，高质量长尾问答数据稀缺成为主要瓶颈，现有数据集多聚焦轨迹标注而缺乏视觉语义关联。此外，稀疏数据下的低效微调限制了模型从有限样本中提取关键特征的能力，需通过人类反馈优化与直接偏好对齐来突破性能边界。

常用场景

经典使用场景

在自动驾驶研究领域，CoReVLA数据集主要应用于长尾场景下的端到端驾驶决策优化。该数据集通过CAVE仿真平台收集驾驶员接管数据，构建了包含视觉上下文、驾驶行为和实时注意力分布的多模态样本。研究人员利用这些数据训练视觉语言动作模型，使其能够理解复杂交通场景并生成安全驾驶策略。特别是在突发行人横穿、前车紧急变道等罕见但高风险的驾驶情境中，该数据集为模型提供了宝贵的学习素材。

衍生相关工作

该数据集的发布催生了多项重要的衍生研究。基于其构建的持续学习框架启发了OpenDriveVLA等开源项目的开发，推动了端到端自动驾驶模型的标准化进程。其人类反馈收集机制为Senna等研究提供了数据采集范式，促进了多模态大模型与自动驾驶的深度融合。在方法论层面，该数据集支持的直接偏好优化技术被SafeVLA等项目采纳，形成了基于约束学习的安全对齐技术路线，为自动驾驶系统的可靠部署奠定了理论基础。

数据集最近研究

最新研究方向

在自动驾驶领域，长尾场景下的安全性能提升已成为前沿研究的焦点。CoReVLA框架通过双阶段收集与精炼机制，创新性地融合了视觉语言动作模型与持续学习策略，有效应对高价值数据稀缺与稀疏样本学习效率低的挑战。该框架在CAVE仿真平台中利用人类接管数据，结合直接偏好优化方法，显著增强了模型在复杂交互与罕见路况下的决策鲁棒性。实验表明，其在Bench2Drive基准测试中驾驶分数与成功率分别提升7.96与15%，为端到端自动驾驶系统在安全关键场景中的演进提供了可扩展范式。

相关研究论文

• 通过

  同济大学交通运输学院 · 2025年