VR-Drive

VR-Drive是一个针对端到端自动驾驶（E2E-AD）的新型框架，通过联合学习3D场景重建作为辅助任务，以实现规划感知的视图合成。该框架采用前馈推理策略，支持在线训练时间增强，无需额外的标注。为了进一步提高视图一致性，引入了视图混合记忆库，促进了多个视图之间的时间交互，以及视图一致性蒸馏策略，将知识从原始视图转移到合成视图。VR-Drive以端到端的方式完全训练，有效地减轻了合成引起的噪声，并提高了视图变化下的规划性能。此外，还发布了一个新的基准数据集，用于评估在新型相机视图下E2E-AD的性能，以实现全面分析。VR-Drive is a novel framework for end-to-end autonomous driving (E2E-AD) that jointly learns 3D scene reconstruction as an auxiliary task to enable planning-aware view synthesis. This framework adopts a feed-forward inference strategy and supports online training-time augmentation without requiring additional annotations. To further improve view consistency, a view-mixed memory bank is introduced to facilitate temporal interactions across multiple views, along with a view consistency distillation strategy that transfers knowledge from original views to synthesized views. Trained purely in an end-to-end manner, VR-Drive effectively mitigates the noise induced by view synthesis and enhances planning performance under varying view conditions. Additionally, a novel benchmark dataset is released for evaluating E2E-AD performance under novel camera views, enabling comprehensive analysis.

原始信息汇总

VR-Drive: Viewpoint-Robust End-to-End Driving with Feed-Forward 3D Gaussian Splatting

作者

Hoonhee Cho*, Jae-Young Kang*, Giwon Lee*, Hyemin Yang*, Heejun Park, Seokwoo Jung, Kuk-Jin Yoon
*表示同等贡献

发表信息

NeurIPS 2025

资源链接

• 论文
• 补充材料
• 代码
• arXiv

摘要

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Proin ullamcorper tellus sed ante aliquam tempus. Etiam porttitor urna feugiat nibh elementum, et tempor dolor mattis. Donec accumsan enim augue, a vulputate nisi sodales sit amet. Proin bibendum ex eget mauris cursus euismod nec et nibh. Maecenas ac gravida ante, nec cursus dui. Vivamus purus nibh, placerat ac purus eget, sagittis vestibulum metus. Sed vestibulum bibendum lectus gravida commodo. Pellentesque auctor leo vitae sagittis suscipit.

其他内容

• 视频演示
• 海报
• 引用格式

bibtex @article{YourPaperKey2024, title={Your Paper Title Here}, author={First Author and Second Author and Third Author}, journal={Conference/Journal Name}, year={2024}, url={https://your-domain.com/your-project-page} }

搜集汇总

数据集介绍

构建方式

在端到端自动驾驶领域，VR-Drive数据集通过创新的三维场景重建技术构建而成。该数据集采用前馈式三维高斯泼溅方法，从稀疏视角图像中实时生成多视角训练数据，无需额外标注即可实现视角增强。构建过程中通过深度估计网络预测高斯基元参数，结合循环重建损失确保三维几何一致性，为模型提供了丰富的视角变化训练样本。

特点

该数据集的核心特征在于其卓越的视角鲁棒性表现。通过视角混合记忆库机制，实现了不同视角特征在三维空间中的时序交互，有效缓解了视角变化带来的特征分布偏移。数据集还具备规划感知的视角合成能力，利用视角一致性蒸馏策略将原始视角知识迁移至合成视角，确保在极端视角条件下仍能保持稳定的感知性能。

使用方法

使用该数据集时，模型在训练阶段随机接收原始视角或合成视角的特征输入，通过端到端联合训练实现视角鲁棒性学习。感知规划头部采用稀疏架构设计，结合三维目标检测与地图构建任务，利用注意力机制融合记忆库特征。测试阶段模型可适应多种未见过的相机配置，包括俯仰角变化、高度偏移等复杂场景，为实际部署提供可靠保障。

背景与挑战

背景概述

端到端自动驾驶作为新兴研究范式，通过整合感知、预测与规划模块实现全栈数据驱动决策。VR-Drive数据集由KAIST与42dot团队于2025年联合发布，聚焦解决多车型相机视角差异导致的模型泛化难题。该数据集创新性地将三维场景重建作为辅助任务，通过前馈式三维高斯溅射技术实现无需额外标注的在线视角增强，显著提升了自动驾驶系统在真实场景中的适应能力。

当前挑战

该数据集致力于攻克端到端自动驾驶中的视角泛化挑战，具体包括：在领域问题层面，需解决不同车型相机位姿变化导致的特征分布偏移问题；在构建过程中，面临三维重建质量与驾驶任务需求的耦合难题，既要保证稀疏视角下的几何一致性，又需避免合成视角噪声对规划模块的干扰。此外，视角混合记忆库的时序特征对齐与跨视角知识蒸馏的稳定性优化亦是核心挑战。

常用场景

经典使用场景

在自动驾驶研究领域，VR-Drive数据集被广泛应用于评估端到端驾驶模型在多样化相机视角下的泛化能力。该数据集通过集成三维高斯溅射技术，支持从稀疏视角实时合成新颖视图，为模型训练提供了丰富的视角增强数据。典型应用场景包括在nuScenes基准测试中模拟不同车辆配置的相机位姿变化，例如俯仰角偏移和高度调整，从而验证驾驶规划系统在未知视角条件下的稳定性与安全性。

实际应用

该数据集的实际价值体现在提升自动驾驶系统在复杂城市环境中的部署可靠性。通过模拟不同车辆平台的传感器配置，如卡车与轿车的相机高度差异，VR-Drive能够训练出适应多种硬件设置的通用驾驶模型。在CARLA仿真平台的闭环测试中，该系统在视角突变场景下仍保持高路线完成率与低碰撞风险，为汽车制造商提供了无需重复数据采集的跨车型解决方案，显著降低了实车标定成本与安全风险。

衍生相关工作

VR-Drive催生了多项聚焦视角鲁棒性的衍生研究。其提出的在线三维高斯重建框架被扩展至动态场景建模，如Street Gaussians对城市街景的实时渲染优化。基于视角混合记忆库的时序交互机制启发了VAD等模型在多目标跟踪中的特征融合设计。此外，视角一致性蒸馏思想被Adaptive Splatting等工作借鉴，用于解决极端天气条件下的传感器退化问题，形成了从静态视角泛化到动态环境适应的完整技术脉络。