DDD17

DDD17是由苏黎世大学和苏黎世联邦理工学院神经信息研究所创建的第一个开放的DAVIS驾驶数据集。该数据集包含超过12小时、分辨率为346x260像素的DAVIS传感器记录，涵盖了高速公路和城市驾驶、不同天气和光照条件下的数据。数据集内容包括车辆速度、GPS位置、驾驶员操作等，旨在通过结合APS和DVS数据，解决自动驾驶中的感知硬件限制问题。创建过程中，数据通过DAVIS346B原型相机同步记录事件和传统帧数据。DDD17的应用领域主要集中在自动驾驶和辅助驾驶系统，通过深度学习模型预测驾驶行为，如转向角度。

DDD17 is the first open-access DAVIS driving dataset developed by the Institute of Neuroinformatics, University of Zurich and ETH Zurich. This dataset contains over 12 hours of recordings captured by DAVIS sensors with a resolution of 346×260 pixels, covering highway and urban driving scenarios as well as data collected under diverse weather and lighting conditions. The dataset includes vehicle speed, GPS location, driver operations and other relevant information, aiming to address the perceptual hardware limitations in autonomous driving by fusing APS and DVS data. During the dataset construction phase, both event-based and conventional frame data were synchronously recorded using the DAVIS346B prototype camera. The primary application scenarios of DDD17 lie in autonomous driving and advanced driver-assistance systems (ADAS), where deep learning models are used to predict driving behaviors such as steering angles.

搜集汇总

数据集介绍

构建方式

DDD17数据集的构建，采用了一款原型DAVIS346B相机，该相机具备DAVIS APS+DVS功能，能同步记录基于事件和传统帧的视觉数据。通过相同的光学系统，以346×260像素的分辨率，收集了超过12小时的高速公路和城市驾驶记录，涵盖了白天、傍晚、夜晚以及干燥和湿润的天气条件。数据集同时记录了车辆的行驶速度、GPS位置、驾驶员的转向、油门和刹车等信息，确保了数据的多维度和综合性。

特点

该数据集的特点在于，它首次公开了融合了APS和DVS数据的DAVIS驾驶记录，为研究自动驾驶系统中的传感器融合提供了宝贵的资源。DDD17不仅包含了丰富的视觉数据，还同步记录了车辆的行驶状态和驾驶员的操作信息，为端到端的驾驶模型训练提供了可能。此外，数据集在不同的天气和驾驶条件下进行了广泛的采集，确保了模型的泛化能力和鲁棒性。

使用方法

使用DDD17数据集，研究者可以加载HDF5格式的数据，该格式将不同类型的数据分开存储，便于索引和同步。通过提供的python软件框架，研究者可以方便地查看、导出数据，以及进行必要的预处理。数据集的构建旨在支持端到端的机器学习模型训练，如卷积神经网络(CNN)，用于预测瞬时转向角度等驾驶行为。

背景与挑战

背景概述

DDD17数据集，全称为End-To-End DAVIS Driving Dataset，是由瑞士苏黎世大学和ETH苏黎世神经信息学研究所的研究人员于2017年创建的。该数据集旨在研究事件相机在自动驾驶系统中的应用，通过结合动态视觉传感器（DVS）和标准主动像素传感器（APS）图像流，为自动驾驶提供了一种新的感知手段。DDD17包含超过12小时的高速公路和城市驾驶记录，涵盖了白天、夜晚、黄昏、干燥和湿润天气条件下的车辆速度、GPS位置、驾驶员转向、油门和刹车等信息，是首个公开的DAVIS驾驶记录数据集，对自动驾驶领域的研究具有重大影响力。

当前挑战

DDD17数据集在构建过程中遇到的挑战主要包括：如何有效融合DVS和APS数据流，以提高自动驾驶系统的感知能力；如何在不同的光照和天气条件下保证事件相机的稳定性和准确性；以及如何设计适用于事件相机数据特性的机器学习模型。此外，该数据集所解决的领域问题是图像分类和车辆行为预测，面临的挑战包括如何从高维度的DVS和APS数据中提取有效的特征，以及如何构建能够处理异步数据流的机器学习模型。

常用场景

经典使用场景

DDD17数据集是首个公开的DAVIS驾驶数据集，其经典使用场景在于为自动驾驶系统提供一种新型的传感器融合方案。该数据集通过结合动态视觉传感器（DVS）和传统主动像素传感器（APS）的图像数据，为研究自动驾驶算法中的传感器融合技术提供了实验基础。在自动驾驶系统中，通过分析DDD17中的DVS事件流和APS帧数据，研究人员可以探索如何更有效地处理场景中的亮度变化信息，进而提高系统的反应速度和准确性。

衍生相关工作

DDD17数据集的发布催生了多项相关研究工作。例如，基于该数据集，研究人员可以开发更先进的传感器融合算法，提高自动驾驶系统在不同驾驶场景下的适应能力。此外，DDD17也促进了事件相机在机器人视觉、增强现实和其他计算机视觉领域的应用研究，为相关领域的发展提供了新的视角和工具。

数据集最近研究

最新研究方向

DDD17数据集是首个公开发布的包含DAVIS驾驶数据的端到端标注数据集，其结合了动态视觉传感器（DVS）和标准主动像素传感器（APS）图像数据，为自动驾驶系统提供了新的研究方向。近期研究利用DDD17数据集，探索了将DVS与APS数据融合应用于端到端驾驶应用的可能性，通过训练卷积神经网络（CNN）预测瞬时转向角度，展示了数据集在自动驾驶领域的潜在价值。这一研究方向的进展不仅为自动驾驶算法提供了新的视角，也为传感器融合技术开辟了新的路径，对提高自动驾驶系统在复杂环境下的性能具有重要意义。

相关研究论文

• DDD17: End-To-End DAVIS Driving Dataset

  苏黎世大学和苏黎世联邦理工学院神经信息研究所 · 2017年