SEVD : Synthetic Event-based Vision Dataset for Ego and Fixed Traffic Perception

SEVD provides multi-view (360°) dataset comprising 27 hr of fixed and 31 hr of ego perception data, with over 9M bounding boxes, recorded across diverse conditions and varying parameters. The event cameras are complemented by five different types of sensors, including RGB, depth, optical flow, semantic, instance segmentation cameras, GNSS and IMU sensors resulting in a diverse array of data.

SEVD 是一款多视角（360°）数据集，涵盖27小时固定视角数据与31小时自车感知数据，总计标注超900万个边界框，采集场景覆盖多样环境与不同参数条件。该数据集搭载事件相机（event cameras），并辅以五类传感器，包括RGB相机、深度传感器、光流传感器、语义传感器、实例分割相机，外加全球导航卫星系统（GNSS）与惯性测量单元（IMU），由此形成了丰富多元的数据模态阵列。

原始信息汇总

SEVD数据集概述

数据集名称

• SEVD : Synthetic Event-based Vision Dataset for Ego and Fixed Traffic Perception

数据集内容

• 数据类型：多视角（360°）数据集，包含27小时的固定感知数据和31小时的自我感知数据。
• 数据量：超过900万个边界框。
• 传感器类型：事件相机，辅以RGB、深度、光流、语义、实例分割相机，以及GNSS和IMU传感器。

数据集用途

• 主要用于自动驾驶和交通监控任务。

数据集下载

• 下载链接：SEVD数据集下载

数据集结构

sh SEVD ├── LICENSE ├── images/ ├── rvt/ ├── ultralytics/ ├── README.md ├── carla/ # 数据生成管道

数据集许可证

• 许可证：Creative Commons Attribution-ShareAlike 4.0 International License

数据集引用

@article{aliminati2024sevd, title={SEVD: Synthetic Event-based Vision Dataset for Ego and Fixed Traffic Perception}, author={Aliminati, Manideep Reddy and Chakravarthi, Bharatesh and Verma, Aayush Atul and Vaghela, Arpitsinh and Wei, Hua and Zhou, Xuesong and Yang, Yezhou}, journal={arXiv preprint arXiv:2404.10540}, year={2024} }

搜集汇总

数据集介绍

构建方式

SEVD数据集通过合成事件相机数据，结合多种传感器信息，构建了一个多视角的交通感知数据集。该数据集利用CARLA模拟器生成，涵盖了27小时的固定视角和31小时的自我视角感知数据，包含超过900万个边界框。数据集不仅包括事件相机数据，还整合了RGB、深度、光流、语义和实例分割等多种传感器数据，确保了数据的多样性和丰富性。

特点

SEVD数据集的显著特点在于其多传感器融合和多视角覆盖。数据集不仅提供了事件相机的高动态范围和高时间分辨率数据，还通过整合多种传感器数据，增强了数据的综合性和实用性。此外，数据集在不同环境和参数条件下记录，确保了数据的多样性和广泛适用性，为自动驾驶和交通监控任务提供了高质量的训练数据。

使用方法

SEVD数据集的使用方法包括数据下载、预处理和模型训练。用户可以通过提供的链接下载数据集，并根据需要将.npz格式的事件流文件转换为.hdf5或.csv格式，以便进行进一步的预处理和模型训练。数据集支持多种模型训练，如RVT（Recurrent Vision Transformers）和RED（Recurrent Event-camera Detector），用户可以根据具体任务选择合适的模型进行训练和评估。

背景与挑战

背景概述

近年来，随着神经形态或基于事件的视觉技术因其高动态范围、高时间分辨率和低功耗等优势而受到广泛关注，事件相机（如动态视觉传感器DVS）逐渐成为研究热点。这些相机通过模仿生物视网膜的行为，仅在光强变化时生成信号，从而产生以⟨x, y, p, t⟩元组表示的事件数据流。尽管事件相机在感知任务中展现出巨大潜力，但相关研究仍面临数据集稀缺的挑战。为此，SEVD（Synthetic Event-based Vision Dataset）应运而生，旨在为自动驾驶和交通监控任务提供多样化的合成事件数据。该数据集由多视图（360°）数据组成，包含27小时固定感知数据和31小时自我感知数据，涵盖多种条件和参数，并结合了RGB、深度、光流等多种传感器数据，为事件视觉研究提供了丰富的资源。

当前挑战

SEVD数据集的构建面临多重挑战。首先，事件相机生成的数据流与传统帧图像数据有显著差异，如何有效处理和分析这些数据流是一个技术难点。其次，合成事件数据的生成依赖于复杂的模拟器（如ESIM和v2e），这些模拟器在生成高质量事件数据时存在局限性，尤其是在复杂交通场景中的表现。此外，数据集的多传感器融合也增加了数据处理的复杂性，如何确保不同传感器数据之间的时间同步和一致性是一个重要挑战。最后，事件数据的高维性和动态性使得模型训练和评估变得更为复杂，如何在有限的计算资源下高效地进行模型训练和验证也是一个亟待解决的问题。

常用场景

经典使用场景

SEVD数据集在自动驾驶和交通监控领域展现了其经典应用场景。通过提供多视角（360°）的事件数据，结合RGB、深度、光流、语义分割等多种传感器数据，SEVD能够支持复杂环境下的车辆感知任务。其数据涵盖了27小时的固定视角和31小时的自我视角感知数据，为研究者提供了丰富的实验素材，尤其适用于事件相机在动态和高动态范围环境中的性能评估。

解决学术问题

SEVD数据集有效解决了事件相机在自动驾驶和交通监控领域中数据稀缺的问题。传统的事件相机数据集多依赖于真实场景的有限数据，而SEVD通过合成数据填补了这一空白，为研究者提供了多样化的数据来源。这不仅推动了事件相机在感知任务中的应用研究，还为算法在不同环境条件下的鲁棒性测试提供了有力支持，具有重要的学术价值。

衍生相关工作

SEVD数据集的发布激发了大量相关研究工作。基于SEVD，研究者们开发了多种事件相机感知算法，如RVT（Recurrent Vision Transformers）和RED（Recurrent Event-camera Detector），这些算法在自动驾驶和交通监控任务中表现出色。此外，SEVD还为事件相机与其他传感器融合技术的研究提供了基础，推动了多模态感知系统的发展，进一步扩展了事件相机在实际应用中的潜力。