DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration

DrivIng是一个大规模多模态驾驶数据集，集成了完整的数字孪生技术。数据集包含白天、黄昏和夜晚的序列数据，涵盖了激光雷达、摄像头和车辆状态等多种传感器数据，并提供了时间同步信息和校准参数。

DrivIng is a large-scale multimodal driving dataset that integrates full digital twin technology. The dataset contains sequential data collected during daytime, dusk and nighttime, covering various sensor data such as LiDAR, cameras and vehicle states, and provides time synchronization information and calibration parameters.

原始信息汇总

DrivIng 数据集概述

数据集基本信息

• 数据集名称：DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration
• 论文地址：https://arxiv.org/abs/2601.15260
• 数据集下载地址：https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/VBZKDY

数据集内容与特点

• 类型：大规模多模态驾驶数据集。
• 核心特点：包含完整的数字孪生集成。
• 数据序列：包含白天（day）、黄昏（dusk）、夜晚（night）三种不同光照条件的序列数据。

数据采集与结构

• 传感器与数据：
  • 激光雷达：位于车辆中部（middle_lidar），采集点云数据（.npz格式），原始频率为20 Hz。
  • 摄像头：包含车辆后左（vehicle_back_left_camera）、后右（vehicle_back_right_camera）、前左（vehicle_front_left_camera）、前右（vehicle_front_right_camera）、左侧（vehicle_left_camera）、右侧（vehicle_right_camera）共六个视角，采集图像数据（.jpg格式），频率为10 Hz。
  • 车辆状态：记录车辆状态信息（.json格式），原始频率为100 Hz。
• 标注文件：每个序列包含一个annotations.json文件，标注频率为10 Hz。
• 校准文件：每个序列包含一个calibration.json文件，提供所有传感器的内参和外参校准参数。
• 时间同步文件：每个序列包含一个timesync_info.csv文件，用于将所有传感器数据在10 Hz频率下进行时间同步关联。
• 中间数据：sweeps文件夹包含激光雷达的中间点云（10 Hz）和车辆状态（100 Hz）的原始高频数据，可与时间同步数据融合以恢复原始频率。
• 数字孪生：数据集包含一个digital_twin文件夹，提供与CARLA模拟器集成的数字孪生环境。

数据获取与处理

• 下载与解压：可通过提供的download_dataset.py和extract_dataset.py脚本从Dataverse下载并解压数据集。
• 格式转换：提供脚本可将数据集转换为nuScenes格式，以便与mmdetection3d框架兼容使用。
• 环境配置：建议为数据集脚本、CARLA脚本和mmdetection3d分别创建独立的Conda环境。

基准评估与模型训练

• 评估框架：使用基于mmdetection3d的适配版本进行感知模型的基准评估。
• 支持任务：支持在转换后的数据集上进行模型训练（如CenterPoint）和推理测试。

许可信息

• 代码许可：遵循MIT许可证。
• 数据集许可：遵循知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议（CC BY-NC-ND 4.0）。使用时必须给出适当署名，不得用于商业目的，且不得分发修改后的数据集版本。

引用

如果使用DrivIng数据集，请引用提供的BibTex条目。

搜集汇总

数据集介绍

构建方式

在自动驾驶技术迅猛发展的背景下，DrivIng数据集通过精心设计的采集流程构建而成。该数据集在真实世界环境中部署了配备多传感器套件的车辆，系统性地捕获了日间、黄昏及夜间等多种光照条件下的驾驶场景。数据采集过程以10赫兹的频率同步记录来自六个环视摄像头、一个中央激光雷达以及车辆状态传感器的多模态信息，并通过精确的时间同步机制确保各传感器数据流的一致性。此外，数据集还包含了详尽的标定参数与三维标注信息，为后续的算法开发与评估奠定了坚实基础。

使用方法

为促进DrivIng数据集在自动驾驶感知研究中的应用，其使用流程涵盖了数据获取、环境配置、格式转换及模型训练等多个环节。用户可通过官方提供的脚本完成数据集的下载与解压，并利用三个独立的Conda环境分别处理数据脚本、CARLA集成以及基于MMDetection3D的模型评测。数据集支持转换为通用的nuScenes格式，便于接入现有的感知算法框架。研究人员可在转换后的数据上，利用适配的MMDetection3D配置进行三维目标检测等任务的模型训练与性能评估。同时，通过将提供的数字孪生地图导入CARLA仿真平台，可实现真实数据与虚拟环境的无缝对接，支持算法在仿真中的进一步测试与验证。

背景与挑战

背景概述

自动驾驶领域的发展亟需大规模、多模态的真实世界驾驶数据以推动感知算法的进步。DrivIng数据集由Dominik Rößle、Xujun Xie等研究人员于2026年创建，并得到AImotion Bavaria、巴伐利亚高科技议程等机构的支持。该数据集的核心研究问题在于如何通过集成完整的数字孪生系统，为自动驾驶系统提供涵盖多种光照条件（白天、黄昏、夜晚）的多传感器同步数据，以促进三维目标检测、场景理解等关键任务的算法研发。其独特之处在于将真实世界的激光雷达、摄像头及车辆状态数据与CARLA模拟环境中的数字孪生无缝结合，为仿真测试与闭环验证提供了重要基础，对自动驾驶技术的安全性与可靠性研究具有显著影响力。

当前挑战

在自动驾驶感知研究中，复杂动态环境下的鲁棒三维目标检测与多传感器融合始终是核心挑战，尤其是在光照剧烈变化、天气条件多样的情况下确保算法的稳定性。DrivIng数据集旨在应对这些挑战，为算法提供跨时段、多模态的基准测试平台。在数据集构建过程中，研究人员面临多重技术难题：大规模多传感器数据的高频采集与精确时间同步需要精密的硬件校准与软件协调；不同序列（如白天、黄昏、夜晚）的数据标注需保持一致性以确保评估的公平性；此外，将真实世界数据与CARLA数字孪生进行高保真度集成，涉及复杂的三维重建与场景映射，对数据对齐的精度提出了极高要求。

常用场景

经典使用场景

在自动驾驶感知系统研究中，DrivIng数据集常被用于多模态感知模型的训练与评估。该数据集整合了白天、黄昏和夜间三种光照条件下的同步传感器数据，包括激光雷达点云、多视角相机图像以及车辆状态信息，为研究者提供了丰富的真实世界驾驶场景。通过其标准化的数据格式与nuScenes兼容性，研究人员能够便捷地开展三维目标检测、多传感器融合等任务的基准测试，尤其在复杂光照变化下的感知鲁棒性分析中展现出独特价值。

解决学术问题

DrivIng数据集有效解决了自动驾驶领域长期存在的多模态数据对齐与数字孪生验证难题。其精确的时间同步标注与完整的标定参数，为学术界提供了研究传感器异构性、跨模态表征学习以及仿真到真实域适应的可靠基础。该数据集通过涵盖不同光照条件的连续序列，助力研究者深入探索环境变化对感知系统的影响机制，推动了开放场景下自动驾驶泛化能力的理论突破。

实际应用

在工业界自动驾驶系统开发中，DrivIng数据集可作为高保真数字孪生的数据源，用于虚拟测试平台的构建。其与CARLA仿真环境的无缝集成能力，使得工程师能够在高度还原的虚拟场景中验证感知算法、进行安全边界测试，大幅降低实车路测成本与风险。数据集提供的多时段真实路况数据，尤其适用于夜间驾驶辅助系统、全天候自动驾驶决策模块的迭代优化。

数据集最近研究

最新研究方向

在自动驾驶领域，多模态感知与数字孪生技术的融合正成为前沿探索的核心方向。DrivIng数据集凭借其大规模多模态传感器数据与完整数字孪生集成的特性，为这一方向提供了关键支撑。当前研究热点集中于利用该数据集在复杂光照条件下（如白天、黄昏、夜间）进行端到端的3D目标检测与场景理解模型训练，特别是基于激光雷达与多视角相机数据的融合感知算法优化。同时，数据集与CARLA仿真平台的深度整合，使得研究人员能够在高保真虚拟环境中进行安全、可扩展的算法验证与闭环测试，加速了从仿真到实车的技术迁移进程。这一进展不仅推动了自动驾驶系统在多样化现实场景中的鲁棒性提升，也为构建可解释、可复现的智能驾驶研究范式奠定了重要基础。