MAD-Cars

MAD-Cars数据集是由Yandex Research、HSE University和Skoltech共同创建的，包含约70,000个360度车辆视频，涵盖了多种品牌、型号、颜色和光照条件，用于自动驾驶场景的重建和模拟。该数据集为自动驾驶领域的研究提供了重要的数据支持，有助于提高自动驾驶系统的感知和规划能力。

The MAD-Cars dataset was co-created by Yandex Research, HSE University and Skoltech. It comprises approximately 70,000 360-degree vehicle videos covering various vehicle brands, models, colors and lighting conditions, and is designed for autonomous driving scenario reconstruction and simulation. This dataset offers crucial data support for research in the autonomous driving domain, and contributes to enhancing the perception and planning capabilities of autonomous driving systems.

原始信息汇总

MADrive: Memory-Augmented Driving Scene Modeling

概述

• 数据集名称: MAD-Cars
• 开发团队: Yandex Research, HSE University, Skoltech
• 核心贡献: 提出MADrive框架，通过外部记忆库增强现有场景重建方法，支持显著改变或新颖驾驶场景的光照真实合成
• 数据集规模: 约70,000个360°汽车视频
• 技术特点: 支持车辆多视角完整表示、方向对齐和重光照

方法

1. 检索模块: 从外部数据库查找相似车辆
2. 重建流程:
   • 从检索视频生成详细3D车辆模型
   • 使用可重光照的2D高斯泼溅表示车辆
   • 应用不透明度掩模去除背景泼溅
   • 通过外部法线贴图正则化模型几何
3. 场景集成: 调整车辆光照条件并与背景合成

评估场景

• 轨迹外推: 生成未来车辆外观
• 新轨迹生成: 支持原始轨迹和修改轨迹的视频生成
• 重光照对比: 展示带/不带重光照效果的对比案例

学术引用

bibtex @article{karpikova2025madrivememoryaugmenteddrivingscene, title={MADrive: Memory-Augmented Driving Scene Modeling}, author={Polina Karpikova and Daniil Selikhanovych and Kirill Struminsky and Ruslan Musaev and Maria Golitsyna and Dmitry Baranchuk}, year={2025}, eprint={2506.21520}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2506.21520} }

资源链接

• arXiv论文: https://arxiv.org/abs/2506.21520

搜集汇总

数据集介绍

构建方式

MAD-Cars数据集的构建基于大规模多视角汽车视频采集，通过精心筛选和过滤低质量帧，确保了数据的高保真度。原始数据集包含约95,000个汽车视频，每个视频平均包含100个视角。通过CLIP-IQA模型和Qwen-2.5-VL-Instruct模型的多阶段过滤，最终保留了约70,000个高质量汽车实例，每个实例平均包含85帧，分辨率多为1920×1080。数据采集过程中特别注重多样性，涵盖了约150个汽车品牌、多种颜色和光照条件。

使用方法

MAD-Cars数据集主要用于增强驾驶场景的重建和渲染，特别是在MADrive框架中。用户可通过检索模块从数据集中找到与目标车辆最相似的实例，进而重建为可重光照的3D资产并集成到目标场景中。数据集支持多种下游任务，包括但不限于自动驾驶仿真、新型视图合成和场景外推。使用时需结合环境光照估计和物理基础的渲染技术，以确保视觉一致性。具体实现细节可参考论文中的检索、重建和场景集成流程。

背景与挑战

背景概述

MAD-Cars数据集由Yandex及其合作机构的研究团队于2025年推出，旨在解决自动驾驶场景重建中的关键挑战。该数据集包含约7万段360度车辆视频，覆盖150多个品牌、多种车型和光照条件，为动态场景建模提供了丰富的多视角数据。其核心创新在于通过外部记忆库检索相似车辆模型，突破传统方法在稀疏观测下难以完整重建车辆的局限，显著提升了驾驶场景外推和替代情景模拟的能力。作为MADrive框架的核心组件，该数据集推动了自动驾驶仿真从观察重建向预测性场景生成的范式转变，为安全关键场景的闭环测试提供了新范式。

当前挑战

MAD-Cars面临的挑战主要体现在两个维度：在领域问题层面，现有驾驶场景重建方法难以从稀疏观测中完整恢复车辆几何外观，导致新视角合成时出现结构坍塌；同时，传统CAD模型与真实车辆存在显著域差距，影响场景仿真的真实性。在构建过程中，数据采集需处理在线广告视频的异构性，包括遮挡、低光照和视角不全等问题；而大规模车辆检索系统需平衡颜色、品牌等多模态特征的匹配精度，确保重建模型与原始场景的光照一致性。此外，保持7万实例的几何精度与纹理真实性，对数据处理流程提出了极高要求。

常用场景

经典使用场景

MAD-Cars数据集在自动驾驶场景建模中展现出卓越的应用价值，其核心功能在于通过多视角车辆视频库实现动态场景的高保真重构。该数据集最典型的应用场景是替代稀疏观测的车辆，利用检索到的相似3D车辆模型进行场景重建，从而支持复杂驾驶场景的仿真与预测。例如，在车辆转弯或变道等非直线运动状态下，传统方法因视角受限难以完整重建车辆外观，而MAD-Cars通过检索外部记忆库中的匹配车辆，结合物理光照调整技术，实现了对未观测视角的逼真合成。

解决学术问题

该数据集有效解决了动态场景重建中的两大核心难题：一是稀疏观测导致的车辆几何信息缺失问题，通过外部记忆库的检索机制填补未观测视角；二是场景光照一致性问题，采用基于球谐函数的可重光照技术确保插入车辆与原始场景的视觉协调性。其意义在于突破了传统高斯泼溅方法对原始观测数据的强依赖性，为自动驾驶系统的安全关键场景测试提供了可控且真实的仿真环境，显著降低了实车测试的成本与风险。

实际应用

在实际应用中，MAD-Cars支撑了驾驶场景的多种衍生功能：一是用于自动驾驶算法的闭环测试，通过生成罕见但危险的场景变体（如紧急避让、极端天气）来验证系统鲁棒性；二是在事故复盘分析中，可基于原始场景数据生成多组假设性轨迹，辅助责任认定与算法改进；三是作为数据增强工具，为感知模型训练提供视角更全面的合成数据，缓解实际数据采集的长尾分布问题。

数据集最近研究

最新研究方向

在自动驾驶领域，MAD-Cars数据集的最新研究方向聚焦于通过记忆增强技术提升动态驾驶场景的建模能力。该数据集作为多视角汽车视频的大规模集合，为MADrive框架提供了丰富的3D车辆资产，使得在稀疏观测条件下能够实现高保真度的车辆替换和场景重构。当前研究热点包括利用3D高斯泼溅技术优化场景重建的几何精度，以及通过物理基础的重新光照和插入技术确保视觉一致性。这一方向的意义在于突破了传统方法在显著偏离原始观测配置时的渲染限制，为自动驾驶系统的安全关键场景模拟和策略调试提供了更为可靠的视觉基础。

相关研究论文

• MADrive: Memory-Augmented Driving Scene Modeling

  Yandex Research, HSE University, Skoltech · 2025年