MEVDT: Multi-Modal Event-Based Vehicle Detection and Tracking Dataset

MEVDT数据集由密歇根大学迪尔伯恩分校创建，专注于多模态事件驱动的车辆检测与跟踪。该数据集包含约13,000张图像、500万事件、10,000个对象标签和85条独特的对象跟踪轨迹。数据集的创建过程涉及使用动态和主动像素视觉传感器（DAVIS）240c混合事件相机在校园内捕捉交通场景，并进行手动标注。MEVDT数据集的应用领域主要集中在自动驾驶和交通监控，旨在通过提供高质量的现实世界标注数据来推动相关算法的发展。

The MEVDT dataset, created by the University of Michigan-Dearborn, focuses on multimodal event-driven vehicle detection and tracking. It contains approximately 13,000 images, 5 million events, 10,000 object labels, and 85 unique object tracking trajectories. The dataset was developed by capturing traffic scenarios on campus using a Dynamic and Active Pixel Vision Sensor (DAVIS) 240C hybrid event camera, followed by manual annotation. The MEVDT dataset is mainly applied in autonomous driving and traffic monitoring, aiming to promote the development of related algorithms by providing high-quality real-world annotated data.

搜集汇总

数据集介绍

构建方式

MEVDT数据集的构建方式是通过使用DAVIS 240c混合事件相机捕捉交通场景的同步事件数据和灰度图像。该相机结合了主动像素传感器（APS）和动态视觉传感器（DVS），APS以每秒24帧的速度捕捉灰度图像，而DVS以微秒级的分辨率记录像素亮度变化（即事件）。数据收集过程在密歇根大学迪尔伯恩分校的两个场景中进行，均为晴朗的白昼条件下。收集到的数据使用机器人操作系统（ROS）DVS软件包在笔记本电脑上进行管理。相机固定在捕捉移动车辆，并使用2D边界框和唯一ID进行手动标注。

使用方法

MEVDT数据集的使用方法包括开发基于事件的视觉模型、多模态数据融合研究以及对象检测和跟踪算法的开发和评估。数据集被分为训练集和测试集，分别包含大约80%和20%的序列。数据集的样本以PNG格式存储灰度图像，以CSV格式存储事件流，并以多种格式存储标签，包括COCO JSON格式、MOT挑战格式和自定义格式。用户可以利用这些数据和标签来训练和评估他们的模型，并开发基于事件和多媒体的解决方案。

背景与挑战

背景概述

在计算机视觉和自动驾驶技术快速发展的背景下，事件相机因其高动态范围和运动模糊的鲁棒性等优势，成为研究的热点。为了推动事件相机在目标检测和跟踪领域的研究，El Shair和Rawashdeh等人于2024年创建了多模态事件相机车辆检测和跟踪数据集（MEVDT）。该数据集利用DAVIS 240c混合事件相机捕捉交通场景，提供了同步的事件数据流和灰度图像。MEVDT包含63个多模态序列，约13k张图像，500万事件，1万个对象标签和85个独特的对象跟踪轨迹。该数据集的目标是满足高精度、真实世界注释数据集的需求，以促进汽车环境中目标检测和跟踪算法的开发和评估。

当前挑战

MEVDT数据集面临的主要挑战包括：1) 解决领域问题：事件相机数据的高动态范围和运动模糊特性，使得目标检测和跟踪算法的开发更具挑战性。2) 构建过程中所遇到的挑战：数据集的构建需要解决事件相机数据的高频采样和异步特性带来的数据处理难题，同时需要保证数据的同步性和准确性。此外，数据集的规模和多样性也限制了其在某些复杂模型或任务中的应用。

常用场景

经典使用场景

MEVDT数据集经典使用场景描述：MEVDT数据集主要用于基于事件的视觉研究领域，特别是针对车辆检测和跟踪任务。该数据集提供了高时间分辨率的异步事件数据以及同步的灰度图像，为研究者在动态场景下进行对象检测和跟踪提供了宝贵的资源。数据集包含了详细的标注信息，包括对象分类、像素级别的边界框和唯一的对象ID，这些标注对于开发和评估对象跟踪算法至关重要。MEVDT数据集支持多模态数据融合研究，通过结合事件相机和传统相机的数据，可以增强计算机视觉系统的准确性和鲁棒性。

解决学术问题

MEVDT数据集解决学术问题描述：MEVDT数据集解决了基于事件的视觉研究领域缺乏高质量、真实世界标注数据集的问题。现有的数据集往往缺乏必要的标注，如对象ID，这对于跟踪应用至关重要。MEVDT数据集提供了详细的标注信息，包括对象分类、像素级别的边界框和唯一的对象ID，这些标注对于开发和评估对象跟踪算法至关重要。此外，MEVDT数据集还支持多模态数据融合研究，通过结合事件相机和传统相机的数据，可以增强计算机视觉系统的准确性和鲁棒性。

实际应用

MEVDT数据集实际应用情况描述：MEVDT数据集在实际应用中可以用于开发基于事件的视觉系统，例如在自动驾驶和交通监控等领域。数据集中的高时间分辨率和详细的标注信息可以用于训练和评估对象检测和跟踪算法，以提高系统的准确性和鲁棒性。此外，MEVDT数据集还可以用于研究多模态数据融合技术，以进一步提高计算机视觉系统的性能。

数据集最近研究

最新研究方向

MEVDT数据集作为事件驱动视觉领域的最新研究成果，为对象检测和跟踪算法的研究与评估提供了高质量、真实世界的数据集。该数据集的引入旨在满足事件驱动视觉研究中的关键需求，即开发能够在汽车环境中高效运行的对象检测和跟踪算法。MEVDT数据集的独特之处在于其同步的事件数据和灰度图像流，这些数据是通过DAVIS 240c混合事件相机捕获的交通场景。该数据集包括63个多模态序列，约13k图像，5M事件，10k对象标签和85个独特的对象跟踪轨迹。MEVDT还包括手动注释的真实标签，包括对象分类、像素精确的边界框和唯一的对象ID，这些标签以24 Hz的频率提供。MEVDT数据集的设计旨在推动事件驱动视觉领域的研究，通过提供高时间分辨率和异步事件数据，捕捉场景中的动态变化，从而推动事件驱动计算机视觉任务，如对象检测和跟踪。MEVDT数据集为研究人员提供了开发基于事件和多种模式的解决方案的机会，这些解决方案在对象检测和跟踪方面具有高精度和鲁棒性。该数据集的发布对事件驱动视觉领域的研究具有重要意义，有助于推动该领域的发展，并促进相关算法的进一步研究和优化。

相关研究论文

• MEVDT: Multi-Modal Event-Based Vehicle Detection and Tracking Dataset

  密歇根大学迪尔伯恩分校 · 2024年