M3CAD

M3CAD是一个为通用协作自动驾驶研究而设计的创新基准，包含204个序列，共计30k帧，涵盖了多种协作驾驶场景。每个序列包含多辆车和多种传感模式，例如LiDAR点云、RGB图像和GPS/IMU，支持多种自动驾驶任务，包括目标检测和跟踪、地图构建、运动预测、占用预测和路径规划。M3CAD的创建过程利用了Unreal Engine 5的高级渲染能力，在CARLA中模拟了真实的多车交互。该数据集支持单车和多车自动驾驶研究，旨在推动自动驾驶领域的研究。M3CAD是目前最全面的基准，专为协作多任务自动驾驶研究量身定制。数据集由德克萨斯大学北分校和丰田信息技术实验室的作者共同创建，并通过GitHub项目页面公开发布。

M3CAD is an innovative benchmark designed for general collaborative autonomous driving research, containing 204 sequences totaling 30k frames and covering a wide range of collaborative driving scenarios. Each sequence includes multiple vehicles and diverse sensing modalities, such as LiDAR point clouds, RGB images, and GPS/IMU, supporting a variety of autonomous driving tasks including object detection and tracking, map construction, motion prediction, occupancy prediction, and path planning. The development of M3CAD leverages the advanced rendering capabilities of Unreal Engine 5 to simulate realistic multi-vehicle interactions within the CARLA simulator. This dataset supports both single-vehicle and multi-vehicle autonomous driving research, aiming to advance research in the autonomous driving field. M3CAD is currently the most comprehensive benchmark tailored specifically for collaborative multi-task autonomous driving research. The dataset was co-created by researchers from the University of North Texas and the Toyota Information Technology Laboratory, and is publicly released via a GitHub project page.

搜集汇总

数据集介绍

构建方式

M3CAD数据集通过先进的CARLA仿真平台结合Unreal Engine 5渲染引擎构建，模拟了多车辆协同驾驶场景。数据采集过程中，每辆车辆配备了多模态传感器，包括四台800×600像素的摄像头、64线激光雷达以及GPS/IMU模块，覆盖白天、夜间及多种天气条件。数据集包含204个序列共计30,000帧数据，采用NuScenes格式进行标注，确保与现有自动驾驶研究工具的兼容性。特别设计了复杂的车辆运动轨迹，避免了传统数据集中简化直线行驶的局限性，更贴近真实驾驶场景的多样性。

特点

M3CAD作为当前最全面的协同自动驾驶基准测试集，其核心特点体现在三方面：多维度协同性支持多车辆在感知、预测与规划等任务中的信息共享；轨迹多样性通过UE5引擎的先进渲染能力，生成包含障碍物、交通灯等复杂环境的真实运动轨迹；任务兼容性同时支持单车与多车场景下的检测、跟踪、建图、运动预测、占据栅格预测和路径规划等全栈任务。数据集还创新性地提供全局真值标注，解决了传统局部真值在协同训练中的监督不完整问题。

使用方法

研究者可通过标准化流程加载M3CAD的多模态数据流，包括激光雷达点云、RGB图像和惯性测量数据。数据集采用70/15/15的比例划分训练、验证与测试集，配套提供坐标转换矩阵以实现车辆间的特征对齐。针对协同感知研究，建议采用内置的E2EC框架进行BEV特征融合实验，该框架支持替换发送车辆选择策略与特征融合算法。对于规划任务，可利用提供的全局轨迹真值验证协同规划算法的有效性。数据集还允许通过CARLA工具自定义天气、路网等参数，满足特定研究需求。

背景与挑战

背景概述

M3CAD是由北德克萨斯大学和丰田信息科技实验室于2025年联合推出的创新型基准数据集，旨在推动通用协同自动驾驶领域的研究进展。作为目前该领域最全面的多车多任务基准，M3CAD包含204个序列共3万帧数据，涵盖日间、夜间及多种天气条件下的协同驾驶场景。数据集创新性地整合了激光雷达点云、RGB图像和GPS/IMU等多模态传感器数据，支持目标检测跟踪、协同建图、运动预测等七大核心任务。其采用虚幻引擎5的高保真模拟技术，通过267k个精细标注实例和全局真值系统，突破了传统单车数据集在协同感知与规划研究中的局限性。

当前挑战

该数据集主要面临三方面挑战：在领域问题层面，需解决多车协同感知中的视域融合难题，以及动态环境下跨车运动预测的时空对齐问题；在构建过程中，克服了UE5引擎大规模场景渲染的算力瓶颈，实现了复杂轨迹（仅58.73%直线行驶）的真实模拟；技术层面则需处理多源传感器时空标定误差，以及全局真值标注系统中超过95%遮挡目标的识别难题。此外，现有版本尚存GPU内存限制导致的百车级协同模拟缺失，以及非车辆交通参与者标注不足等局限性。

常用场景

经典使用场景

M3CAD数据集作为多车协同自动驾驶领域的标杆性资源，其经典应用场景聚焦于复杂交通环境下的多模态感知与协同决策研究。通过整合激光雷达点云、RGB图像及GPS/IMU等多源传感器数据，该数据集支持研究者构建端到端的协同感知-预测-规划系统，特别适用于交叉路口会车、密集车流编队行驶等需要车辆间实时共享环境信息的典型场景。其204个序列覆盖昼夜及雨雾等极端天气条件，为算法鲁棒性验证提供了标准化测试平台。

衍生相关工作

该数据集催生了多个标志性研究成果：E2EC框架首次实现BEV特征跨车共享的端到端协同规划，在M3CAD上达到0.31m的L2轨迹误差；HEAD算法创新性地解决了异构车辆间带宽受限的协同感知问题，获CVPR 2024最佳论文提名。后续研究进一步扩展了数据集的边界，如SiCP模型通过时空特征解耦实现单帧-连续帧协同检测的统一，V2VAM则探索了对抗环境下的鲁棒通信机制。这些工作共同推动了IEEE P2851协同自动驾驶标准的制定。

数据集最近研究

最新研究方向

近年来，M3CAD数据集在协同自动驾驶领域的研究中引起了广泛关注。作为首个专为多车、多任务、多模态协同驾驶设计的综合基准，该数据集通过整合激光雷达点云、RGB图像及GPS/IMU等多源传感器数据，为复杂环境下的协同感知、联合运动预测和路径规划等任务提供了标准化评估平台。研究热点集中在基于鸟瞰图（BEV）的特征融合算法优化、全局真值标注对模型训练的增益分析，以及端到端协同框架（如E2EC）在动态交通场景中的泛化能力验证。随着车联网（V2X）技术的快速发展，M3CAD为探索车辆间信息共享机制与协同决策的耦合关系提供了关键数据支撑，其多任务兼容性设计正推动自动驾驶系统从孤立感知向群体智能范式转变。

相关研究论文

• M3CAD: Towards Generic Cooperative Autonomous Driving Benchmark

  德克萨斯大学北分校, 丰田信息技术实验室 · 2025年