RealDriveSim

RealDriveSim是一个为自动驾驶设计的真实多模态多任务合成数据集，它不仅支持流行的二维计算机视觉应用，还支持其激光雷达 counterpart，提供多达64类的细粒度注释。数据集包含6,689个场景或短序列，对应133,780帧，生成于10张城市、郊区和高速公路环境的地图。RealDriveSim提供包括来自前向摄像头捕获的图像和来自32光束激光雷达和64光束激光雷达的3D点云的传感器数据。注释套件支持包括2D/3D目标检测、2D/3D语义分割、2D/3D实例分割、深度估计、2D光流估计和3D场景流估计的各种感知任务。RealDriveSim是一个高保真合成自动驾驶数据集，支持广泛的二维感知任务，同时提供相应的激光雷达数据和它们的各种三维感知任务的点对点地面真实注释。RealDriveSim is a realistic multi-modal, multi-task synthetic dataset designed for autonomous driving. It supports not only prevalent 2D computer vision applications, but also its LiDAR counterpart, with up to 64 categories of fine-grained annotations. The dataset contains 6,689 scenes or short sequences, corresponding to 133,780 frames, which are generated over 10 maps spanning urban, suburban, and highway driving environments. RealDriveSim provides sensor data including images captured by forward-facing cameras, as well as 3D point clouds from 32-beam and 64-beam LiDAR sensors. Its annotation suite supports a wide range of perception tasks, including 2D/3D object detection, 2D/3D semantic segmentation, 2D/3D instance segmentation, depth estimation, 2D optical flow estimation, and 3D scene flow estimation. As a high-fidelity synthetic autonomous driving dataset, RealDriveSim supports a broad spectrum of 2D perception tasks, while also providing corresponding LiDAR data and per-point ground-truth annotations for various 3D perception tasks.

原始信息汇总

RealDriveSim: 自动驾驶多模态多任务合成数据集概述

数据集基本信息

• 名称: RealDriveSim
• 类型: 多模态合成数据集
• 应用领域: 自动驾驶
• 特点:
  • 支持2D计算机视觉和LiDAR应用
  • 提供64个类别的细粒度标注
  • 包含多种天气条件和时间段数据

数据集组成

1. 正常天气 - 完整版

• 序列数: 6,343
• 帧数: 126,680
• 天气条件: 晴朗/多云/阴天
• 数据模态:
  • 2D模态: RGB图像(367.42GB)、2D目标检测(1.78GB)、2D语义分割(7.75GB)等
  • 3D模态: 3D点云(430.33GB)、3D目标检测(62GB)、3D语义分割(3.53GB)等
  • 其他: 标定数据(6MB)

2. 正常天气 - 采样版

• 采样方式: 每序列均匀采样第5帧
• 帧数: 25,372
• 数据量: 约为完整版的1/5

3. 恶劣天气 - 批次1

• 序列数: 258
• 帧数: 5,160
• 天气条件: 雾天/夜间/雨天
• 数据量: 约11.54GB(RGB)

4. 恶劣天气 - 批次2

• 序列数: 90
• 帧数: 1,800
• 数据量: 约4.07GB(RGB)

标注信息

• 类别数量: 64类
• 标注类型:
  • 2D/3D目标检测
  • 2D/3D语义分割
  • 2D/3D实例分割
  • 深度图
  • 光流/场景流

与其他合成数据集对比优势

• 支持任务全面性:
  • 同时支持2D和3D视觉任务
  • 覆盖检测、分割、深度估计、光流、SLAM等
• 类别数量优势: 61个2D类别/64个3D类别

标签映射

• 提供与Cityscapes和SemanticKITTI数据集的标签对应关系

下载信息

• 数据集地址: https://realdrivesim.github.io/
• 许可协议: CC BY 4.0

搜集汇总

数据集介绍

构建方式

RealDriveSim数据集通过高度自动化的仿真流程构建，采用Parallel Domain的仿真环境生成多模态数据。其构建过程分为三个阶段：仿真、渲染和标注。在仿真阶段，基于用户配置放置智能体并模拟其行为；渲染引擎负责生成不同光照条件下的传感器输出；标注引擎则自动生成涵盖64个细粒度类别的多任务标注。数据集包含6,689个场景，共计133,780帧数据，覆盖城市、郊区和高速公路等10种地图环境，并包含不同天气和昼夜条件下的驾驶场景。

特点

RealDriveSim作为目前最全面的自动驾驶合成数据集，具有三大核心特征：多模态性（同时提供相机图像和32/64线激光雷达点云）、多任务支持（涵盖2D/3D目标检测、语义分割、深度估计等14种感知任务）以及高真实度（通过先进渲染技术实现接近真实场景的视觉效果）。其标注体系包含64个细粒度语义类别，可灵活映射到主流真实数据集。特别值得注意的是，该数据集首次实现了对激光雷达场景流估计和SLAM任务的支持，填补了现有合成数据的空白。

使用方法

使用RealDriveSim时，研究者可通过官方SDK便捷地访问多模态数据及其对应标注。数据集支持三种典型应用范式：源域单独训练（验证合成数据的迁移性能）、联合训练（与真实数据混合提升模型鲁棒性）以及微调训练（利用合成数据预训练后在小规模真实数据上微调）。针对不同任务，标注数据可映射为Cityscapes、KITTI等主流数据集的类别体系。数据以10Hz频率采集，支持时序分析任务，每个序列包含20帧连续数据，并保持跨帧实例ID一致性以满足跟踪任务需求。

背景与挑战

背景概述

RealDriveSim是由德国航空航天中心、马克斯·普朗克信息学研究所、华为苏黎世研究中心等多家国际知名机构联合研发的多模态自动驾驶合成数据集，于2025年6月正式发布。该数据集针对自动驾驶感知模型训练中的标注成本瓶颈问题，通过计算机图形学技术构建了包含6,689个场景、133,780帧的高保真合成数据，覆盖城市、郊区及高速公路等多种环境，支持64类精细语义标注。作为首个同时支持2D视觉任务与LiDAR点云任务的合成基准，其创新性地整合了前向摄像头、32线及64线激光雷达的多传感器数据，在跨模态多任务学习领域树立了新的技术标准，显著提升了合成数据在真实场景下的迁移性能。

当前挑战

在领域问题层面，RealDriveSim需解决合成数据与真实场景间的域差距难题，包括光照条件、材质纹理等视觉特征差异，以及点云密度分布等几何特征偏差。构建过程中面临三大核心挑战：多传感器数据时空对齐要求亚毫秒级同步精度，10Hz采样频率下需确保6自由度位姿的精确标定；64类语义体系需兼容Cityscapes等19类标准评估体系，同时扩展针对卡车、施工车辆等长尾场景的专用类别；极端天气合成涉及雨雾粒子系统与光学传感器的物理交互建模，需平衡渲染效率与物理真实性。此外，10张地图的场景多样性构建需规避程序化生成导致的模式坍塌问题，确保场景布局符合真实道路拓扑规律。

常用场景

经典使用场景

RealDriveSim数据集在自动驾驶感知模型的开发与验证中扮演着关键角色。其多模态特性支持相机与LiDAR数据的同步处理，涵盖城市、郊区及高速公路等多样化场景。研究者可利用其精细标注的64类语义信息，开展2D/3D目标检测、语义分割、深度估计等任务，尤其适用于跨模态联合训练的算法验证。数据集通过模拟不同天气（雨、雾）与光照条件（昼夜交替），为模型鲁棒性测试提供了可控的复杂环境。

实际应用

RealDriveSim可直接应用于自动驾驶系统的全栈开发。工业界可利用其生成极端场景（如暴雨夜间）的传感器数据，补充真实路测难以覆盖的corner case。其LiDAR点云与图像严格同步的特性，助力多传感器融合算法开发。车厂可基于该数据集快速迭代感知算法，尤其在低能见度条件下的障碍物识别、车道线检测等关键任务中验证系统可靠性。

衍生相关工作

该数据集推动了多项前沿研究：在3D感知领域，衍生出基于MinkowskiNet的跨域分割框架；在2D检测方向，其预训练模型催生了Faster R-CNN的改进变体。SynLiDAR与PreSIL等工作的后续研究均以RealDriveSim为基准进行对比，其多任务标注体系更启发了《DaFormer》等域自适应模型的联合训练策略。数据集提供的点云-像素对应关系，近期被用于自监督表征学习研究。