DDD17

该数据集记录了包括发动机转速、传递到变速箱的扭矩、燃油消耗以及变速箱的档位在内的内部数据，同时还包含了其他运动状态数据及操作数据。此外，数据集中还包含了来自事件摄像头的图像信息。任务目标是进行端到端的转向控制学习。

This dataset records internal operational data including engine speed, torque transmitted to the gearbox, fuel consumption, and gearbox gear position, as well as additional motion state data and operational data. Additionally, the dataset includes image information from event cameras. The task objective is to perform end-to-end steering control learning.

搜集汇总

数据集介绍

构建方式

DDD17数据集是首个公开的DAVIS驾驶记录标注数据集，由瑞士苏黎世大学与苏黎世联邦理工学院的研究团队构建。数据采集使用DAVIS346B原型相机，该相机能同时输出346×260像素的标准APS灰度帧和DVS时间对比事件流，帧率在10至50 fps之间动态调整。车辆控制与诊断数据通过OpenXC接口从福特蒙迪欧MK3的OBDII端口读取，涵盖方向盘角度、油门、刹车、速度、GPS位置等十余个参数。所有数据流在记录时通过计算机系统时间戳同步，并以HDF5格式存储，确保不同频率数据源的对齐与高效索引。总时长超过12小时，覆盖瑞士与德国高速公路及城市道路，包含白天、傍晚、夜晚、干燥与湿滑等多种驾驶条件。

特点

该数据集的核心特点在于其双模态视觉感知能力：APS帧提供传统灰度图像，而DVS事件以微秒级精度异步记录亮度变化，动态范围超过120 dB，有效帧率可超1 kHz。这种设计使数据在低光照、高动态场景中仍能保持丰富的时间信息。此外，数据集包含超过1000公里的真实驾驶记录，驾驶行为分布自然——方向盘角度以直行和小偏差为主，车速均匀分布于0至160 km/h，近半数数据在低光照条件下采集。车辆控制信号与视觉数据严格同步，为端到端的驾驶策略学习提供了完整的输入-输出对。

使用方法

数据集适用于基于卷积神经网络的端到端驾驶模型训练，例如从APS或DVS数据直接预测瞬时方向盘角度。使用时，可将DVS事件累积为二维直方图帧，并与APS帧一同下采样至80×60像素后输入网络。由于DVS事件率随场景亮度变化，网络推理帧率可在1至1000 fps之间自适应调整。研究人员可利用配套的Python工具导出帧数据，并基于HDF5容器中的系统时间戳对齐不同传感器流。该数据集特别适合探究APS与DVS融合对驾驶控制精度与反应延迟的影响，但需注意其未包含LIDAR或路线信息，因此更适用于高速公路等结构化场景的初步验证。

背景与挑战

背景概述

DDD17数据集由瑞士苏黎世大学与苏黎世联邦理工学院的神经信息学研究所于2017年创建，主要研究人员包括Jonathan Binas、Daniel Neil、Shih-Chii Liu和Tobi Delbruck。该数据集的核心研究问题在于探索事件相机（如DAVIS传感器）在自动驾驶中的应用潜力，尤其是如何融合传统主动像素传感器（APS）图像与动态视觉传感器（DVS）事件流，以实现端到端的驾驶控制。DDD17是首个公开的、带有标注的DAVIS驾驶数据集，包含超过12小时的高速公路与城市驾驶记录，覆盖白天、夜晚、干燥与潮湿等多种天气条件，并同步采集了车辆速度、GPS位置、方向盘转角、油门及刹车等驾驶数据。该数据集为研究基于事件相机的自动驾驶算法提供了宝贵的资源，对推动低延迟、高动态范围视觉感知技术在自主驾驶领域的发展产生了重要影响。

当前挑战

DDD17数据集所解决的领域问题包括：1）在复杂光照与天气条件下，传统帧基相机存在动态范围不足、运动模糊及低光性能差等局限，而事件相机虽能提供高时间分辨率和宽动态范围，但其非结构化的事件流难以直接用于标准深度学习模型，需要设计有效的特征表示方法；2）端到端驾驶任务中，如何有效融合APS图像与DVS事件数据以提升控制精度和鲁棒性。构建过程中面临的挑战包括：1）多源数据（DAVIS视觉数据与车辆CAN总线数据）的同步与时间戳对齐，因不同设备时钟差异需引入系统时间戳进行校正；2）数据采集覆盖多种场景（如夜间、雨天、高速公路），但自然驾驶数据存在严重不平衡，如直线行驶占主导、转向角分布集中，增加了模型泛化难度；3）缺少激光雷达等其他传感器信息，限制了多模态融合研究的深度；4）数据集规模有限（仅12小时），且部分记录时长较短，对训练复杂网络构成挑战。

常用场景

经典使用场景

DDD17数据集作为首个公开的DAVIS驾驶记录数据集，在自动驾驶领域扮演着里程碑式的角色。它专注于端到端驾驶场景，提供了同步的动态视觉传感器事件流和传统有源像素传感器图像帧，以及车辆控制信号。该数据集最经典的使用场景是训练卷积神经网络直接从视觉数据预测驾驶行为，例如瞬时转向角度的回归任务，为研究事件相机在自动驾驶中的融合潜力提供了标准化的实验平台。

实际应用

在实际应用中，DDD17数据集为开发先进驾驶辅助系统和自动驾驶系统提供了宝贵资源。它可用于训练和验证实时转向角预测模型，帮助车辆在高速公路、城市道路等复杂环境中做出快速响应。结合事件相机的高时间分辨率特性，该数据集支持开发低功耗、低延迟的驾驶决策系统，尤其适用于需要快速避障或应对突发状况的场景，从而提升行车安全性和系统可靠性。

衍生相关工作

DDD17数据集衍生了一系列经典工作，包括基于混合帧/事件驱动的卷积神经网络用于机器人控制的研究，以及利用事件相机进行实时目标检测和跟踪的算法。后续工作进一步探索了将DVS事件编码为时间表面或体素表示，以改进时间动态建模。此外，该数据集启发了多个大规模事件相机驾驶数据集的构建，如MVSEC和DSEC，推动了事件视觉在自动驾驶领域的系统性发展。