M3CAD

M³CAD是目前最全面的单车辆和协同自动驾驶研究基准测试数据集，支持多种任务，如目标检测和跟踪、地图绘制、运动预测、占用和路径规划，同时在复杂环境中支持更真实的车辆运动和交互。

M³CAD is currently the most comprehensive benchmark dataset for single-vehicle and cooperative autonomous driving research, supporting multiple tasks including object detection and tracking, mapping, motion prediction, occupancy estimation and path planning, while enabling more realistic vehicle movements and interactions in complex environments.

原始信息汇总

M3CAD: 通用协同自动驾驶基准数据集

概述

M³CAD是目前最全面的单车辆和协同自动驾驶研究基准，支持多种任务，包括：

• 目标检测与跟踪
• 地图构建
• 运动预测
• 占用率分析
• 路径规划

该数据集在复杂环境中支持更真实的车辆运动和交互。

快速开始

项目基于Bench2DriveZoo结构扩展，支持协同自动驾驶任务：

• 安装指南
• 数据准备
• 训练与评估

结果可视化

提供两种可视化工具：

1. 基础可视化（BEV） bash python m3cad/uniad/analysis_tools/visualize/run.py --dataroot data/m3cad_carla_ue5 --version v1.0-test --predroot output/results.pkl --out_folder output_vis --demo_video output.mp4 --project_to_cam # 可选

2. 3D可视化（基于Rerun） bash python m3cad/uniad/analysis_tools/visualize/rerun_visualizer.py --root-dir data/m3cad_carla_ue5 --scene-name 2025_06_24_18_33_22_60, 2025_06_24_18_33_22_51, 2025_06_24_18_33_22_75 --serve --dataset-version v1.0-test --seconds 20

待办事项

• [ ] 支持VAD
• [ ] 支持UniV2X

联系方式

• Morui Zhu: [e-mail]
• Qing Yang: [e-mail]

引用

bibtex @misc{zhu2025m3cad, title={M3CAD: Towards Generic Cooperative Autonomous Driving Benchmark}, author={Morui Zhu and Yongqi Zhu and Yihao Zhu and Qi Chen and Deyuan Qu and Song Fu and Qing Yang}, year={2025}, eprint={2505.06746}, archivePrefix={arXiv}, primaryClass={cs.RO} }

致谢

感谢以下项目的贡献：

• Bench2DriveZoo
• UniAD
• OpenCOOD
• NuScenes
• F-COOPER

搜集汇总

数据集介绍

构建方式

M3CAD数据集作为当前最全面的自动驾驶研究基准，其构建过程充分考虑了单车辆与协同驾驶场景的多样性。基于Bench2DriveZoo框架进行扩展开发，通过高精度仿真平台CARLA与UE5引擎生成复杂环境下的多模态数据，涵盖城市道路、交叉路口等典型场景。数据采集过程模拟真实传感器配置，包括激光雷达、摄像头等设备，并精确标注物体检测框、运动轨迹等多维度信息，确保数据时空同步性。

使用方法

研究者可通过标准化流程快速开展实验，数据预处理阶段需按照DATA_PREP文档完成格式转换与场景划分。训练评估环节支持端到端流水线，利用提供的PyTorch工具包可便捷加载多车协同数据。可视化模块包含两种模式：基础BEV工具可生成检测结果对比视频，而基于Rerun-SDK的三维可视化系统能交互式分析多车感知数据。用户可通过修改配置文件灵活调整任务组合，如单独验证运动预测模块或进行全栈任务联合训练。

背景与挑战

背景概述

M3CAD数据集由Morui Zhu、Qing Yang等研究人员于2025年提出，旨在构建面向通用协同自动驾驶研究的综合性基准。该数据集基于Bench2DriveZoo框架扩展，整合了CARLA与UE5仿真引擎的优势，成为当前支持单车辆与协同自动驾驶任务最全面的评测平台。其核心研究问题聚焦于复杂环境中多智能体协同感知与决策的泛化能力评估，涵盖目标检测跟踪、地图构建、运动预测、占据栅格及路径规划等关键任务。作为自动驾驶领域的前沿探索，M3CAD通过高保真仿真数据与标准化评估协议，显著推动了多车协同算法的可比性与可复现性研究。

当前挑战

在领域问题层面，M3CAD需解决协同自动驾驶中多源异构传感器数据时空对齐、跨车辆意图推理、群体行为预测等核心挑战。构建过程中面临仿真环境与真实场景的域差异问题，包括物理引擎精度限制、多车交互逻辑建模复杂度高、以及大规模场景数据生成的算力成本。此外，为保持基准的扩展性，需持续集成新型任务如车路协同（VAD）与统一车联网（UniV2X）框架，这对数据标注规范与评估体系设计提出了更高要求。

常用场景

经典使用场景

在自动驾驶研究领域，M3CAD数据集作为目前最全面的基准测试平台，广泛应用于单车辆与协同自动驾驶的多任务研究。其经典使用场景包括复杂环境下的物体检测与跟踪、高精度地图构建、运动轨迹预测、占用网格分析以及路径规划等任务。通过模拟真实交通场景中的车辆动态交互，该数据集为算法验证提供了高度逼真的测试环境。

解决学术问题

M3CAD有效解决了自动驾驶研究中多模态感知融合、协同决策制定等关键科学问题。其支持的多任务联合评估框架，填补了传统基准测试在车辆协同交互建模方面的空白。该数据集通过统一的数据结构和评估标准，显著提升了跨机构研究成果的可比性，推动了端到端自动驾驶系统的理论突破。

实际应用

在产业实践中，M3CAD被广泛应用于自动驾驶系统的性能验证与优化。汽车制造商利用其丰富的场景库进行传感器融合算法的压力测试，科技公司则基于协同驾驶数据开发V2X通信协议。该数据集特别适合验证城市复杂路况下的紧急避障、车队协同巡航等实际应用场景的算法鲁棒性。

数据集最近研究

最新研究方向

在自动驾驶领域，多车协同感知与决策正成为突破技术瓶颈的关键路径。M3CAD作为当前最全面的单机与协同自动驾驶基准数据集，其最新研究聚焦于跨模态感知融合与分布式决策优化。通过整合高精度激光雷达、视觉数据及车辆交互信息，该数据集推动了复杂动态场景下的三维目标检测、运动轨迹预测以及协同路径规划等核心算法的发展。研究热点包括基于车路协同的实时语义建图技术，以及如何利用深度学习模型处理异构传感器数据以提升系统鲁棒性。这些探索不仅为V2X通信标准制定提供了实证基础，更通过开源工具链加速了UniAD等框架的产业化落地进程。