DrivIng

DrivIng是由英戈尔施塔特技术大学与慕尼黑工业大学联合发布的大规模多模态自动驾驶数据集，包含约18公里覆盖城市、郊区及高速公路的连续路线数据。该数据集通过6台RGB相机、1台LiDAR及高精度定位系统采集，提供昼夜交替场景下的37.8万张图像、6.3万帧点云及120万个标注实例，包含12类物体的3D边界框与追踪ID。其创新性在于完整集成地理参照数字孪生，支持真实交通场景1:1映射至仿真环境，可用于感知算法系统测试、边缘案例模拟及虚实迁移验证，显著提升自动驾驶系统的鲁棒性评估能力。

原始信息汇总

DrivIng 数据集概述

数据集基本信息

• 数据集名称：DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration
• 数据集描述：一个大规模多模态驾驶数据集，具备完整的数字孪生集成。

数据获取与结构

• 下载地址：https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/VBZKDY
• 下载脚本：项目提供了 download_dataset.py 和 extract_dataset.py 脚本，位于 dataset_scripts/driving_dataset_scripts/ 目录下。
• 数据集结构：
  • 根目录：包含 DrivIng（数据文件）和 digital_twin（CARLA数字孪生文件夹）两个主要文件夹。
  • 数据序列：包含 day（白天）、dusk（黄昏）、night（夜晚）三个子序列。
  • 序列内文件：
    • annotations.json：序列的所有标注（10 Hz）。
    • calibration.json：所有传感器内参和外参的标定参数。
    • timesync_info.csv：时间同步信息，用于关联所有传感器数据（10 Hz）。
    • 传感器数据文件夹：
      • middle_lidar：激光雷达点云数据（10 Hz），文件格式为 .npz。
      • vehicle_back_left_camera、vehicle_back_right_camera、vehicle_front_left_camera、vehicle_front_right_camera、vehicle_left_camera、vehicle_right_camera：摄像头图像数据（10 Hz），文件格式为 .jpg。
      • vehicle_state：车辆状态信息（100 Hz），文件格式为 .json。
    • sweeps 文件夹：包含中间频率的传感器原始数据（如20 Hz的激光雷达点云和100 Hz的车辆状态），需与 timesync_info.csv 融合以得到原始频率数据。

环境配置

项目建议为三个子文件夹创建独立的 Conda 环境：

1. dataset_scripts 环境：用于数据集下载、解压和格式转换。Python版本为3.10.18。
2. CARLA_scripts 环境：用于CARLA数字孪生集成。通过 environment.yml 文件创建。
3. mmdetection3d 环境：用于3D感知模型的基准评估。基于官方 mmdetection3d 仓库，使用CUDA 11.7及指定的软件包版本（如 torch==1.13.1+cu117）。

感知模型基准评估

• 格式转换：首先使用 dataset_scripts 环境将数据集转换为 nuScenes 格式。相关脚本位于 dataset_scripts/driving_dataset_scripts/data_conversion 目录下，包括 create_sequences_from_annotation_file.py（创建序列分割）和 create_nuscenes_format.py（转换为nuScenes格式）。
• mmdetection3d格式创建：切换至 driving_mmdetection3d 环境，使用 tools/create_data.py 脚本创建 mmdetection3d 所需的数据格式。
• 模型训练与推理：在 mmdetection3d 目录下，提供了使用 dist_train.sh 进行分布式训练和使用 dist_test.sh 进行推理的示例命令（以 CenterPoint 模型和白天序列为例）。

CARLA 地图集成

• 集成方法：将提供的两个 .tar.gz 文件复制到 CARLA UE4 安装目录（版本：0.9.15.2）的 Import 文件夹中，并执行 sh ImportAssets.sh 脚本。
• 详细信息：关于使用数字孪生及提供脚本的更多信息，请参阅 CARLA scripts README。

许可信息

• 代码许可：采用 MIT 许可证。详情见 LICENSE 文件。
• 数据集许可：采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议 CC BY-NC-ND 4.0。使用时必须给出适当署名；不得用于商业目的；不得分发修改后的数据集版本。

引用

若在研究中使用了 DrivIng 数据集，请引用以下文献： bibtex @misc{roessle2026drivinglargescalemultimodaldriving, title={DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration}, author={Dominik Rößle and Xujun Xie and Adithya Mohan and Venkatesh Thirugnana Sambandham and Daniel Cremers and Torsten Schön}, year={2026}, eprint={2601.15260}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2601.15260}, }

搜集汇总

数据集介绍

构建方式

在自动驾驶感知研究领域，数据集的构建质量直接影响算法的鲁棒性与泛化能力。DrivIng数据集通过精心设计的传感器套件与系统化采集流程构建而成，其数据采集基于一辆装备六台RGB摄像头、一台激光雷达及高精度ADMA定位系统的奥迪Q8 e-tron车辆，实现了360度全覆盖感知。数据采集路线全长约18公里，涵盖城市、郊区及高速公路等多种驾驶环境，并在白天、黄昏与夜间三种光照条件下分别进行了连续、不间断的录制。所有序列以10赫兹的频率进行了人工标注，生成了包含12个对象类别的三维边界框与跟踪ID，标注实例总数约达120万个，确保了数据在时空维度上的连续性与丰富性。

使用方法

DrivIng数据集为自动驾驶感知研究提供了灵活而强大的使用途径。研究者可直接利用其提供的真实世界多模态数据，在MMDetection3D等标准框架下进行三维目标检测、多目标跟踪等任务的训练与评估。数据集已转换为nuScenes格式，确保了与主流基准的兼容性。更为独特的是，借助其集成的数字孪生，用户可实现两种关键应用模式：一是高保真运动回放模式，将真实轨迹精确复现于仿真中，用于传感器级验证与仿真到真实迁移研究；二是交互式重仿真模式，以真实轨迹为参考路径，结合仿真引擎的物理交互，用于规划与控制算法的测试。数据集、数字孪生、代码库及开发工具包均已公开，支持可重复研究及复杂多智能体协同感知等前沿探索。

背景与挑战

背景概述

自动驾驶感知系统的演进依赖于大规模、高质量的多模态数据集，以支撑复杂环境下的算法训练与评估。DrivIng数据集由英戈尔施塔特技术大学与慕尼黑工业大学的联合研究团队于2026年发布，旨在填补现有数据集在数字孪生集成方面的空白。该数据集的核心研究问题聚焦于如何通过高保真的地理参照数字孪生，实现真实世界驾驶场景的一对一映射，从而支持系统化测试、边缘案例模拟以及仿真到现实的迁移验证。其覆盖约18公里的连续路线，包含城市、郊区及高速公路等多类环境，并提供了昼夜交替条件下的六摄像头RGB图像、激光雷达点云及高精度定位数据，共计约120万个三维标注实例。DrivIng的推出为自动驾驶感知研究提供了兼具真实数据丰富性与仿真灵活性的新型基础设施，显著推动了多智能体协同感知、安全关键场景测试等前沿方向的发展。

当前挑战

DrivIng数据集致力于解决自动驾驶领域三维物体检测与跟踪任务中的核心挑战，特别是在多变光照条件、复杂交通交互及长尾物体类别下的模型鲁棒性问题。构建过程中的主要挑战体现在多方面：首先，创建与真实路线完全匹配的高保真数字孪生需要整合大规模地理参照数据，涉及数千个建筑、交通标志及环境物体的精细建模，确保几何与语义的双重对齐。其次，多传感器系统的精确校准与时间同步是保障数据一致性的关键，尤其在跨昼夜序列中维持标注质量与轨迹连续性面临严峻考验。此外，数据标注需处理12个物体类别的三维边界框与跟踪ID，涵盖动物、特殊行人等罕见类别，这对标注规范的一致性及隐私保护（如人脸与车牌模糊化）提出了更高要求。这些挑战共同塑造了数据集在仿真与现实融合验证方面的独特价值。

常用场景

经典使用场景

在自动驾驶感知算法的开发与验证领域，DrivIng数据集凭借其大规模多模态数据与完整数字孪生体的集成，成为系统化测试与仿真的关键平台。该数据集覆盖了约18公里的连续驾驶路线，包含城市、郊区和高速公路等多种环境，并提供了昼夜不同光照条件下的六路RGB相机、激光雷达和高精度定位数据。研究人员能够利用其高频率的3D标注与跟踪信息，对目标检测、跟踪及轨迹预测等核心感知任务进行端到端的模型训练与评估。数字孪生体的存在进一步允许将真实交通场景精确映射至仿真环境，支持场景重现、环境参数修改以及边缘案例的生成，从而在可控条件下深入探究算法在复杂动态交互中的鲁棒性与泛化能力。

解决学术问题

DrivIng数据集主要应对自动驾驶研究中缺乏高保真数字孪生体所导致的系统性验证难题。传统数据集虽提供多样化的真实世界数据，但难以支持对算法在极端条件、传感器配置变更或多智能体协同场景下的可重复测试。该数据集通过构建与真实路线完全地理参照的数字孪生，实现了从真实到仿真的无缝转换，使得研究人员能够在仿真环境中精确复现真实交通流，并灵活调整光照、天气或交通密度等变量。这一特性显著促进了仿真到真实（sim-to-real）的迁移研究，帮助解决感知模型在域适应、长尾分布以及安全临界场景中的泛化问题，为算法可靠性评估提供了标准化且可扩展的实验基础。

实际应用

在实际应用层面，DrivIng数据集为自动驾驶系统的安全部署与性能优化提供了重要支撑。汽车制造商与科技公司可借助其数字孪生体，在虚拟环境中对感知模块进行大规模回归测试，加速算法迭代并降低实车路测的成本与风险。该数据集支持复杂多智能体交互场景的构建，适用于车路协同感知系统的开发，通过模拟车辆与基础设施的信息融合，提升在遮挡或恶劣天气下的环境理解能力。此外，政策制定与标准机构能够利用数据集生成的标准化测试用例，对自动驾驶系统的安全合规性进行客观评估，推动行业安全规范的建立与完善。

数据集最近研究

最新研究方向

在自动驾驶感知领域，高保真数字孪生技术正成为推动算法验证与场景泛化的关键前沿。DrivIng数据集通过构建长达18公里路线的完整地理参照数字孪生，实现了真实交通场景向仿真环境的一对一映射，为系统化测试与边缘案例模拟提供了坚实基础。该数据集支持多模态传感器融合与协同感知研究，尤其在复杂光照条件与长尾对象检测方面展现出独特价值。其与CARLA仿真平台的无缝集成，进一步促进了仿真到现实（sim-to-real）的迁移学习、多智能体交互验证以及安全关键场景的生成与评估，为自动驾驶系统的鲁棒性与可扩展性研究开辟了新的路径。

相关研究论文

• DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration

  英戈尔施塔特技术大学·计算机科学系; 慕尼黑工业大学·计算、信息与技术学院 · 2026年