有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
MMDVS-LF|自动驾驶数据集|深度学习数据集
收藏arXiv2024-09-26 更新2024-09-27 收录
下载链接：
https://github.com/CPS-TUWien/mmdvs
下载链接
链接失效反馈资源简介：
MMDVS-LF数据集，由奥地利维也纳技术大学（Technische Universität Wien，简称TU Wien）的CPS研究团队精心打造，是首个集成了动态视觉传感器（DVS）记录、RGB视频、里程计和惯性测量单元（IMU）数据的多模态数据集。该数据集旨在推动深度学习算法的发展，特别是在利用DVS数据特性方面。数据集采集自小型标准化车辆，执行简化环境中的循线任务，同时记录了驾驶员的眼动和人口统计数据，为自动驾驶系统和控制应用的创新提供了丰富的数据资源。数据集内容丰富，包含约401GB的原始数据，并生成了不同分辨率和频率的数据集。所有生成的数据集压缩后大小均低于15GB，涵盖了DVS时间表面和事件帧数据、IMU测量和驾驶输入。数据集的创建过程涉及精确的记录程序和处理流程，以同步和对齐不同的数据模态，并采用了缩小DVS事件数据的缩放方法论。MMDVS-LF数据集的应用领域广泛，不仅适用于自动驾驶系统的开发，还能支持深度学习算法的研究，尤其是在事件基础视觉领域。此外，独特的眼动数据还允许通过比较人类注意力来验证人工神经网络的性能。
提供机构：
维也纳技术大学
创建时间：
2024-09-26
AI搜集汇总
数据集介绍
构建方式
MMDVS-LF数据集的构建基于一个多模态动态视觉传感器（DVS）的线跟随任务。该数据集整合了多种传感器模态，包括DVS记录、RGB视频、里程计和惯性测量单元（IMU）数据，这些数据均来自一个标准化的小型车辆。此外，数据集还包含了驾驶员在进行线跟随任务时的眼动追踪和人口统计数据。数据集的构建过程包括记录约401GB的原始数据，并通过处理生成不同分辨率和频率的数据集，最终压缩至15GB以下。
特点
MMDVS-LF数据集的显著特点在于其多模态数据的整合，包括DVS事件流、RGB视频、IMU测量、驾驶输入和眼动追踪数据。这些数据不仅提供了丰富的环境感知信息，还包含了驾驶员的行为和生理反应数据，为研究提供了多维度的视角。此外，数据集的紧凑性（压缩后小于15GB）使其易于使用，适合于各种深度学习和数据科学项目。
使用方法
MMDVS-LF数据集适用于开发和验证基于事件的神经网络模型，特别是在自动驾驶和控制系统中的应用。研究者可以利用数据集中的多模态数据进行模型训练，例如使用DVS事件流和RGB视频进行视觉感知任务，或结合IMU数据进行运动预测。此外，眼动追踪数据可以用于验证模型的注意力机制，确保其与人类驾驶员的注意力模式相匹配。数据集的多样性和详细标注使其成为探索新算法和模型的理想平台。
背景与挑战
背景概述
动态视觉传感器（DVS）作为一种新兴的视觉传感技术，因其高时间分辨率和异步事件驱动数据处理能力，在控制应用中展现出独特优势。然而，其在机器学习算法中的应用仍处于起步阶段。为填补这一空白，促进利用DVS数据特性的模型开发，Felix Resch及其团队于2024年推出了多模态动态视觉传感器线跟随数据集（MMDVS-LF）。该数据集首次整合了多种传感器模态，包括DVS记录、RGB视频、里程计和惯性测量单元（IMU）数据，以及驾驶员的眼动追踪和人口统计数据。MMDVS-LF不仅为深度学习算法的发展提供了新的机遇，还支持在自主系统和控制应用领域的创新研究。
当前挑战
MMDVS-LF数据集在构建过程中面临多项挑战。首先，整合多种传感器模态并确保数据同步与对齐是一项复杂任务。其次，DVS数据的稀疏性和异步特性要求开发新的数据表示方法，以适应传统机器学习算法的需求。此外，数据集的标注工作也极具挑战性，需手动标注大量数据以确保标注质量。在应用层面，如何有效利用DVS数据的高时间分辨率特性，开发适用于事件驱动视觉的神经网络架构，仍是一个开放的研究问题。最后，数据集的规模和复杂性要求高效的存储和处理技术，以确保数据集的易用性和实用性。
常用场景
经典使用场景
MMDVS-LF数据集的经典使用场景主要集中在自动驾驶和机器人控制领域。该数据集通过整合多种传感器模态，包括动态视觉传感器（DVS）记录、RGB视频、里程计和惯性测量单元（IMU）数据，为开发基于事件驱动的神经网络模型提供了丰富的资源。研究人员可以利用这些数据进行深度学习算法的训练，特别是在线跟随任务中，通过分析DVS事件流和RGB图像的融合，实现对车辆运动的高精度预测和控制。
解决学术问题
MMDVS-LF数据集解决了在动态视觉传感器（DVS）数据处理中常见的学术研究问题，特别是在事件驱动视觉数据的稀疏性和异步性方面。通过提供多模态数据，该数据集促进了新型事件驱动神经网络理论的发展，如脉冲神经网络（SNNs）和卷积神经网络（CNNs）与循环神经网络（RNNs）的结合。这些研究不仅提升了对DVS数据的理解和处理能力，还为自动驾驶和机器人控制领域的创新提供了理论支持。
衍生相关工作
MMDVS-LF数据集的发布催生了一系列相关研究工作，特别是在事件驱动视觉和深度学习结合的领域。例如，研究人员基于该数据集开发了多种新型神经网络架构，如结合卷积神经网络（CNNs）和长短期记忆网络（LSTMs）的混合模型，用于预测车辆转向角度。此外，该数据集还促进了眼动追踪数据与神经网络注意力机制的结合研究，进一步提升了模型的性能和解释性。这些衍生工作不仅扩展了数据集的应用范围，也为相关领域的技术进步提供了新的思路。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国区域交通网络数据集
该数据集包含中国各区域的交通网络信息，包括道路、铁路、航空和水路等多种交通方式的网络结构和连接关系。数据集详细记录了各交通节点的位置、交通线路的类型、长度、容量以及相关的交通流量信息。
data.stats.gov.cn 收录
中国食物成分数据库
食物成分数据比较准确而详细地描述农作物、水产类、畜禽肉类等人类赖以生存的基本食物的品质和营养成分含量。它是一个重要的我国公共卫生数据和营养信息资源，是提供人类基本需求和基本社会保障的先决条件；也是一个国家制定相关法规标准、实施有关营养政策、开展食品贸易和进行营养健康教育的基础，兼具学术、经济、社会等多种价值。 本数据集收录了基于2002年食物成分表的1506条食物的31项营养成分（含胆固醇）数据，657条食物的18种氨基酸数据、441条食物的32种脂肪酸数据、130条食物的碘数据、114条食物的大豆异黄酮数据。
国家人口健康科学数据中心 收录
Wind Turbine Data
该数据集包含风力涡轮机的运行数据，包括风速、风向、发电量等参数。数据记录了多个风力涡轮机在不同时间点的运行状态，适用于风能研究和风力发电系统的优化分析。
www.kaggle.com 收录
A00_13081a.jpg
Link to OCHRE database: http://pi.lib.uchicago.edu/1001/org/ochre/a8598ac4-9093-d548-30f3-84ce2ec953a7
DataONE 收录
Materials Project 在线材料数据库
Materials Project 是一个由伯克利加州大学和劳伦斯伯克利国家实验室于 2011 年共同发起的大型开放式在线材料数据库。这个项目的目标是利用高通量第一性原理计算，为超过百万种无机材料提供全面的性能数据、结构信息和计算模拟结果，以此加速新材料的发现和创新过程。数据库中的数据不仅包括晶体结构和能量特性，还涵盖了电子结构和热力学性质等详尽信息，为研究人员提供了丰富的材料数据资源。相关论文成果为「Commentary: The Materials Project: A materials genome approach to accelerating materials innovation」。
超神经 收录