SafeMVDrive

SafeMVDrive数据集是由哈尔滨工业大学和浙江大学的研究团队创建的，旨在为端到端自动驾驶系统提供高逼真度的多视角安全关键视频数据。该数据集包含了41个多样化的9秒场景，用于测试和提升自动驾驶系统在避免碰撞方面的鲁棒性。数据集的创建过程涉及利用视觉语言模型选择对抗性车辆，以及通过两阶段轨迹生成机制生成避障轨迹，并最终利用扩散模型生成高质量的多视角视频。SafeMVDrive数据集为自动驾驶领域提供了一个重要的基准，有助于提高自动驾驶系统的安全性和可靠性。

The SafeMVDrive dataset was developed by research teams from Harbin Institute of Technology and Zhejiang University, aiming to provide high-fidelity multi-view safety-critical video data for end-to-end autonomous driving systems. It includes 41 diverse 9-second scenarios, which are used to test and improve the robustness of autonomous driving systems in collision avoidance. The creation process of the dataset involves selecting adversarial vehicles via vision-language models, generating obstacle-avoidance trajectories through a two-stage trajectory generation mechanism, and finally producing high-quality multi-view videos using diffusion models. The SafeMVDrive dataset serves as an important benchmark in the autonomous driving field, helping to enhance the safety and reliability of autonomous driving systems.

原始信息汇总

SafeMVDrive: Multi-view Safety-Critical Driving Video Synthesis in the Real World Domain

基本信息

• 作者: Jiawei Zhou1, Linye Lyu1, Zhuotao Tian1, Cheng Zhuo2, Yu Li2*
• 机构:
  • 1 Harbin Institute of Technology, Shenzhen
  • 2 Zhejiang University
• 对应作者: Yu Li

数据集概述

SafeMVDrive是首个在真实世界领域中生成高质量、安全关键、多视角驾驶视频的框架。该框架通过整合安全关键轨迹生成器与先进的多视角视频生成器，填补了现有方法无法满足端到端自动驾驶系统(E2E AD)对真实世界多视角视频数据需求的空白。

技术特点

1. 轨迹生成器增强:

   • 引入视觉上下文以提升场景理解能力
   • 利用GRPO微调的视觉语言模型实现更真实、上下文感知的轨迹生成

2. 两阶段可控轨迹生成机制:

   • 解决现有多视角视频生成器难以渲染真实碰撞事件的问题
   • 生成碰撞规避轨迹，确保视频质量和安全关键保真度

3. 视频生成:

   • 采用基于扩散模型的多视角视频生成器
   • 从生成轨迹合成高质量安全关键驾驶视频

实验验证

• 在E2E AD规划器上进行的实验显示:
  • 使用生成数据测试时碰撞率显著增加
  • 验证了SafeMVDrive在压力测试规划模块方面的有效性

视频示例

(注:视频经过压缩，质量可能受影响)

1. 对抗车辆突然切入; 自车轻微右转规避
2. 后方对抗车辆突然加速; 自车加速规避
3. 后方对抗车辆突然加速; 自车左转车道规避
4. 前方对抗车辆突然减速; 自车变道减速规避
5. 夜间场景: 后方对抗车辆突然加速; 自车加速前驶规避前方车辆
6. 后方对抗车辆突然加速; 自车先加速后右转车道规避
7. 前方对抗车辆突然减速; 自车减速规避
8. 后方对抗车辆突然加速; 自车加速规避
9. 后方对抗车辆突然加速; 自车加速规避

搜集汇总

数据集介绍

构建方式

SafeMVDrive数据集的构建采用了创新的两阶段轨迹生成策略，结合了视觉语言模型（VLM）和扩散模型技术。首先，通过VLM选择潜在的对抗车辆，确保场景的复杂性和真实性；随后，利用两阶段轨迹生成器模拟碰撞和规避轨迹，确保生成的安全关键场景既真实又可控。最后，采用基于扩散模型的多视角视频生成器，将轨迹转化为高质量的多视角驾驶视频，填补了真实世界多视角安全关键驾驶视频数据的空白。

特点

SafeMVDrive数据集以其高质量、多视角和安全关键性著称。该数据集包含41个多样化的9秒场景，涵盖了多种安全关键事件，如切入、快速接近和突然刹车等。其独特之处在于生成的视频不仅视觉上高度逼真，还能显著提升端到端自动驾驶规划器的碰撞率，验证了其在压力测试中的有效性。此外，数据集通过两阶段轨迹生成机制，确保了视频生成器能够处理安全关键事件，同时保持视频的视觉质量。

使用方法

SafeMVDrive数据集主要用于评估和增强端到端自动驾驶系统的鲁棒性。研究人员可以通过该数据集测试自动驾驶规划器在安全关键场景下的表现，如碰撞规避能力。数据集的使用方法包括加载多视角视频和相应的轨迹数据，通过仿真环境或实际测试平台进行系统验证。此外，数据集还可用于训练和微调自动驾驶模型，特别是在处理罕见但关键的安全事件时，提升模型的泛化能力和应对复杂场景的适应性。

背景与挑战

背景概述

SafeMVDrive是由哈尔滨工业大学（深圳）和浙江大学的研究团队于2025年提出的首个面向真实世界领域的安全关键多视角驾驶视频合成框架。该数据集针对端到端自动驾驶系统（E2E AD）在罕见但关键的安全场景中缺乏高质量多视角视频数据的问题，通过融合安全关键轨迹生成器与先进多视角视频生成器，构建了包含41个9秒场景的基准数据集。其创新性体现在采用视觉语言模型增强场景理解能力，并设计两阶段轨迹生成机制解决碰撞事件渲染难题，实验证明能使典型E2E规划器的碰撞率提升30%，填补了自动驾驶压力测试领域的数据空白。

当前挑战

该数据集面临的核心挑战体现在两个维度：在领域问题层面，需突破传统非视觉轨迹或单视角视频的局限，解决多视角安全场景动态建模中视觉真实性、物理合理性与安全关键性三者平衡的难题；在构建过程层面，存在轨迹生成器缺乏视觉上下文导致的对抗车辆选择偏差、视频生成器对碰撞事件渲染失真的技术瓶颈，以及真实世界复杂交通场景的多模态数据对齐问题。

常用场景

经典使用场景

SafeMVDrive数据集在自动驾驶系统的安全评估中扮演着关键角色，特别是在模拟真实世界中的多视角安全关键驾驶场景。该数据集通过生成高质量的多视角视频，为研究人员提供了丰富的视觉输入，用于测试和优化端到端自动驾驶系统的规划模块。其经典使用场景包括在虚拟环境中重现复杂的交通冲突情况，如切入、紧急制动和后方快速接近等，这些场景在真实世界中难以频繁捕捉，但对系统的安全性测试至关重要。

解决学术问题

SafeMVDrive解决了自动驾驶研究中安全关键数据稀缺的核心问题。传统方法依赖于非视觉轨迹或单视角视频，难以满足端到端系统对多视角视觉输入的需求。该数据集通过结合安全关键轨迹生成器和先进的多视角视频生成器，填补了这一空白。其创新之处在于利用视觉语言模型增强场景理解能力，并采用两阶段轨迹生成机制，确保生成的视频既具有高质量又包含安全关键特征，为自动驾驶系统的鲁棒性评估提供了可靠的数据支持。

衍生相关工作

SafeMVDrive的推出催生了一系列相关研究工作。基于其框架，研究者们开始探索更高效的视觉语言模型在场景理解中的应用，以及改进的多视角视频生成技术。例如，一些工作专注于提升碰撞规避轨迹的生成质量，而另一些则致力于优化视频生成的实时性。该数据集还启发了对自动驾驶系统在安全关键场景中行为模式的深入研究，为后续的算法改进提供了理论基础。这些衍生工作共同推动了自动驾驶安全测试领域的进步。