MMDVS-LF

MMDVS-LF数据集，由奥地利维也纳技术大学（Technische Universität Wien，简称TU Wien）的CPS研究团队精心打造，是首个集成了动态视觉传感器（DVS）记录、RGB视频、里程计和惯性测量单元（IMU）数据的多模态数据集。该数据集旨在推动深度学习算法的发展，特别是在利用DVS数据特性方面。数据集采集自小型标准化车辆，执行简化环境中的循线任务，同时记录了驾驶员的眼动和人口统计数据，为自动驾驶系统和控制应用的创新提供了丰富的数据资源。数据集内容丰富，包含约401GB的原始数据，并生成了不同分辨率和频率的数据集。所有生成的数据集压缩后大小均低于15GB，涵盖了DVS时间表面和事件帧数据、IMU测量和驾驶输入。数据集的创建过程涉及精确的记录程序和处理流程，以同步和对齐不同的数据模态，并采用了缩小DVS事件数据的缩放方法论。MMDVS-LF数据集的应用领域广泛，不仅适用于自动驾驶系统的开发，还能支持深度学习算法的研究，尤其是在事件基础视觉领域。此外，独特的眼动数据还允许通过比较人类注意力来验证人工神经网络的性能。

The MMDVS-LF dataset, meticulously curated by the CPS Research Team at Technische Universität Wien (TU Wien for short), represents the first multimodal dataset integrating dynamic vision sensor (DVS) recordings, RGB videos, odometry data, and inertial measurement unit (IMU) data. Its core objective is to facilitate the advancement of deep learning algorithms, especially those that exploit the distinctive properties of DVS data. The dataset was collected using small-scale standardized vehicles conducting lane-following tasks in simplified environments, while concurrently recording the driver’s eye movement and demographic information, thereby providing abundant data resources for innovations in autonomous driving systems and control applications. The dataset comprises approximately 401GB of raw data, with multiple derivative datasets of varying resolutions and frequencies subsequently generated. All compressed derivative datasets are under 15GB in total size, covering DVS temporal surface and event frame data, IMU measurements, and driving input records. The development of the MMDVS-LF dataset entails precise recording procedures and processing workflows to synchronize and align all disparate data modalities, and a scaling methodology for downsizing DVS event data was employed during the process. The MMDVS-LF dataset boasts broad application prospects: it is not only suitable for the development of autonomous driving systems, but also supports research on deep learning algorithms, particularly within the event-based vision domain. Furthermore, the unique eye movement data enables validation of artificial neural network performance by comparing against human attentional patterns.

搜集汇总

数据集介绍

构建方式

MMDVS-LF数据集的构建基于一个多模态动态视觉传感器（DVS）的线跟随任务。该数据集整合了多种传感器模态，包括DVS记录、RGB视频、里程计和惯性测量单元（IMU）数据，这些数据均来自一个标准化的小型车辆。此外，数据集还包含了驾驶员在进行线跟随任务时的眼动追踪和人口统计数据。数据集的构建过程包括记录约401GB的原始数据，并通过处理生成不同分辨率和频率的数据集，最终压缩至15GB以下。

特点

MMDVS-LF数据集的显著特点在于其多模态数据的整合，包括DVS事件流、RGB视频、IMU测量、驾驶输入和眼动追踪数据。这些数据不仅提供了丰富的环境感知信息，还包含了驾驶员的行为和生理反应数据，为研究提供了多维度的视角。此外，数据集的紧凑性（压缩后小于15GB）使其易于使用，适合于各种深度学习和数据科学项目。

使用方法

MMDVS-LF数据集适用于开发和验证基于事件的神经网络模型，特别是在自动驾驶和控制系统中的应用。研究者可以利用数据集中的多模态数据进行模型训练，例如使用DVS事件流和RGB视频进行视觉感知任务，或结合IMU数据进行运动预测。此外，眼动追踪数据可以用于验证模型的注意力机制，确保其与人类驾驶员的注意力模式相匹配。数据集的多样性和详细标注使其成为探索新算法和模型的理想平台。

背景与挑战

背景概述

动态视觉传感器（DVS）作为一种新兴的视觉传感技术，因其高时间分辨率和异步事件驱动数据处理能力，在控制应用中展现出独特优势。然而，其在机器学习算法中的应用仍处于起步阶段。为填补这一空白，促进利用DVS数据特性的模型开发，Felix Resch及其团队于2024年推出了多模态动态视觉传感器线跟随数据集（MMDVS-LF）。该数据集首次整合了多种传感器模态，包括DVS记录、RGB视频、里程计和惯性测量单元（IMU）数据，以及驾驶员的眼动追踪和人口统计数据。MMDVS-LF不仅为深度学习算法的发展提供了新的机遇，还支持在自主系统和控制应用领域的创新研究。

当前挑战

MMDVS-LF数据集在构建过程中面临多项挑战。首先，整合多种传感器模态并确保数据同步与对齐是一项复杂任务。其次，DVS数据的稀疏性和异步特性要求开发新的数据表示方法，以适应传统机器学习算法的需求。此外，数据集的标注工作也极具挑战性，需手动标注大量数据以确保标注质量。在应用层面，如何有效利用DVS数据的高时间分辨率特性，开发适用于事件驱动视觉的神经网络架构，仍是一个开放的研究问题。最后，数据集的规模和复杂性要求高效的存储和处理技术，以确保数据集的易用性和实用性。

常用场景

经典使用场景

MMDVS-LF数据集的经典使用场景主要集中在自动驾驶和机器人控制领域。该数据集通过整合多种传感器模态，包括动态视觉传感器（DVS）记录、RGB视频、里程计和惯性测量单元（IMU）数据，为开发基于事件驱动的神经网络模型提供了丰富的资源。研究人员可以利用这些数据进行深度学习算法的训练，特别是在线跟随任务中，通过分析DVS事件流和RGB图像的融合，实现对车辆运动的高精度预测和控制。

解决学术问题

MMDVS-LF数据集解决了在动态视觉传感器（DVS）数据处理中常见的学术研究问题，特别是在事件驱动视觉数据的稀疏性和异步性方面。通过提供多模态数据，该数据集促进了新型事件驱动神经网络理论的发展，如脉冲神经网络（SNNs）和卷积神经网络（CNNs）与循环神经网络（RNNs）的结合。这些研究不仅提升了对DVS数据的理解和处理能力，还为自动驾驶和机器人控制领域的创新提供了理论支持。

衍生相关工作

MMDVS-LF数据集的发布催生了一系列相关研究工作，特别是在事件驱动视觉和深度学习结合的领域。例如，研究人员基于该数据集开发了多种新型神经网络架构，如结合卷积神经网络（CNNs）和长短期记忆网络（LSTMs）的混合模型，用于预测车辆转向角度。此外，该数据集还促进了眼动追踪数据与神经网络注意力机制的结合研究，进一步提升了模型的性能和解释性。这些衍生工作不仅扩展了数据集的应用范围，也为相关领域的技术进步提供了新的思路。