nuCarla

nuCarla是一个在CARLA模拟器中开发的大规模、与nuScenes兼容的基于摄像头的感知数据集，包含9个不同地图、14种天气条件和6个对象类别。该数据集旨在促进自动驾驶端到端开发中有效感知表示的训练，总共包含1000个场景，其中700个用于训练，150个用于验证，150个用于测试，与nuScenes的数据划分相匹配。

nuCarla is a large-scale, camera-based perception dataset compatible with nuScenes, developed in the CARLA simulator. It includes 9 distinct maps, 14 weather conditions, and 6 object categories. This dataset aims to facilitate the training of effective perception representations for end-to-end autonomous driving development. It contains a total of 1000 scenarios, with 700 for training, 150 for validation and 150 for testing, which matches the data split of nuScenes.

原始信息汇总

nuCarla数据集概述

数据集简介

nuCarla是一个大规模、与nuScenes兼容的基于摄像头的感知数据集，在CARLA模拟器中开发。该数据集旨在促进有效感知表征的训练，用于端到端自动驾驶开发。

核心特性

• 首个基于CARLA的大规模感知数据集，完全兼容nuScenes格式
• MMDetection3D-1.0全面升级，支持最新PyTorch（2.7+）和CUDA（12.8+）
• 开源数据集和预训练模型权重

数据集规模

• 总场景数：1,000个
• 训练集：700个场景
• 验证集：150个场景
• 测试集：150个场景
• 数据划分与nuScenes保持一致

数据多样性

• 地图数量：9个不同地图
• 天气条件：14种天气条件
• 目标类别：6个对象类别（汽车、卡车、公交车、行人、摩托车、自行车）

数据获取

数据集公开发布于Hugging Face平台：https://huggingface.co/datasets/zhijieq/nuCarla

数据结构：

nuCarla ├─ maps/ ├─ samples/ ├─ v1.0-mini/ ├─ v1.0-test/ ├─ v1.0-trainval/

模型性能

在nuCarla验证集上评估的模型性能：

方法	训练周期	显存占用	GPU小时	mAP	NDS
BEVFormer (Base)	24ep	30500M	300	0.813	0.778
PETR (VovNet-GridMask-P4-1600x640)	24ep	9500M	150	0.745	0.710
BEVDet (R50-4DLongTerm-Stereo-CBGS)	24ep	8500M	300	0.811	0.753
FastBEV (R50-CBGS-4D)	24ep	14000M	50	0.777	0.728

技术说明

• 这是一个基于摄像头的感知数据集
• LiDAR文件仅为兼容MMDetection3D框架约定的占位符
• 所有指标基于六个可用类别后计算，非nuScenes控制台直接输出

搜集汇总

数据集介绍

构建方式

在自动驾驶仿真研究领域，nuCarla数据集通过CARLA仿真平台系统构建，涵盖9种地图场景与14类天气条件，模拟真实驾驶环境的多样性。数据采集基于相机传感器，生成1,000个完整场景，严格遵循nuScenes数据划分标准，其中训练集700例、验证集与测试集各150例。为保障格式兼容性，数据集结构完全对齐nuScenes规范，并针对MMDetection3D框架进行适配，激光雷达数据作为占位符保留以实现技术生态无缝衔接。

特点

作为首个基于CARLA仿真平台的大规模鸟瞰图感知数据集，nuCarla具备与nuScenes格式的完全兼容性，支持六类核心交通要素的检测任务。其独特价值在于通过虚拟引擎实现了环境参数的可控生成，覆盖昼夜交替、雨雪雾霾等复杂气象条件。数据集提供经过完整训练的模型权重与评估指标，在BEVFormer等四大前沿模型上的验证结果显示，其mAP与NDS指标均达到竞争性水平，为仿真环境下的感知算法研发提供了高置信度基准。

使用方法

研究者可通过Hugging Face平台获取nuCarla数据集，按预定目录结构组织样本数据与标注文件。使用前需配置Python 3.10与CUDA 12.8以上版本的计算环境，依托MMDetection3D框架加载预定义配置。训练流程支持直接调用公开的模型配置文件，评估阶段采用nuScenes官方度量标准，针对车辆、行人等六类目标输出标准化检测报告。各模型子目录均提供完整的端到端实现方案，用户可基于预训练模型快速开展迁移学习或性能对比实验。

背景与挑战

背景概述

随着自动驾驶技术对高精度感知算法的需求日益增长，仿真数据集成为弥补真实数据采集成本高昂与场景覆盖不足的关键工具。nuCarla数据集由密歇根交通实验室于2025年推出，作为首个基于CARLA仿真平台且完全兼容nuScenes格式的大规模鸟瞰图感知数据集，其核心目标在于解决自动驾驶领域中多传感器融合与复杂环境下的物体检测问题。该数据集涵盖9类地图、14种天气条件及6种对象类别，通过生成1,000个标准化场景，为端到端自动驾驶系统的感知模块训练提供了可控且多样化的实验环境，显著推动了仿真数据与真实场景算法迁移的研究进程。

当前挑战

在自动驾驶感知领域，鸟瞰图视角下的多目标检测面临环境动态性与传感器模拟保真度的双重挑战。nuCarla需克服仿真环境中光照突变、天气交互效应等对模型泛化能力的影响，同时确保虚拟摄像头数据与真实世界物理特性的一致性。数据集构建过程中，开发团队需精确平衡场景复杂性与计算资源限制，通过设计兼容nuScenes的标准化数据管道，解决了仿真数据与现有检测框架（如MMDetection3D）的集成难题，并为LiDAR点云等冗余数据的轻量化处理提供了创新方案。

常用场景

经典使用场景

在自动驾驶感知系统开发领域，nuCarla数据集凭借其与nuScenes格式的完全兼容性，成为鸟瞰图感知模型训练与验证的理想平台。该数据集通过模拟9种地图场景与14类天气条件，为研究者提供了丰富多样的驾驶环境数据，特别适用于评估BEVFormer、PETR等先进模型在多目标检测任务中的鲁棒性。其经典应用体现在端到端自动驾驶系统的感知模块开发过程中，能够系统化测试模型在复杂交通场景下的物体识别精度与泛化能力。

衍生相关工作

基于nuCarla数据集已催生系列创新研究，包括BEVDet的立体视觉优化、FastBEV的高效推理架构等衍生工作。这些研究通过利用数据集的多地图特性，发展了针对长尾场景的感知增强技术。部分团队进一步扩展了数据集的应用边界，将其与强化学习框架结合开发决策模型，形成了从感知到决策的完整技术链条，持续推动着仿真驱动自动驾驶研发的新范式。

数据集最近研究

最新研究方向

在自动驾驶仿真领域，nuCarla数据集正推动鸟瞰图感知模型的前沿探索。该数据集通过完全兼容nuScenes格式的设计，为基于相机输入的端到端自动驾驶系统提供了标准化测试平台。当前研究聚焦于多模态BEV感知架构的优化，包括BEVFormer的时空特征融合机制、PETR的3D位置编码策略、BEVDet的多视角几何一致性以及FastBEV的高效推理框架。这些模型在nuCarla的9种地图与14种天气条件下展现出的稳健性能，揭示了仿真数据在弥补真实世界数据稀缺性方面的潜力，同时为感知模型在复杂场景下的泛化能力评估建立了新基准。