DVS-PedX

DVS-PedX是一个用于行人检测和穿越意图分析的新形态数据集，包含来自模拟和真实视频领域的基于事件的行人检测数据。它基于JAAD数据集，使用v2e转换器将JAAD数据集中的RGB视频转换为DVS事件流。同时，DVS-PedX还包括使用CARLA驾驶模拟器生成的合成事件数据。该数据集旨在促进基于事件的行人安全、意图预测和新形态感知研究。

DVS-PedX is a novel modality dataset for pedestrian detection and crossing intention analysis, containing event-based pedestrian detection data from both simulated and real-world video domains. It is built upon the JAAD dataset, where RGB videos in JAAD are converted into DVS event streams via the v2e converter. Additionally, DVS-PedX also includes synthetic event data generated using the CARLA driving simulator. This dataset aims to facilitate research on event-based pedestrian safety, intention prediction and novel modality perception.

原始信息汇总

DVS-PedX: Dynamic Vision Sensor Pedestrian eXploration Dataset

数据集概述

DVS-PedX是一个神经形态数据集，专为行人检测和穿越意图分析设计，涵盖正常和恶劣天气条件。数据集包含两个互补来源：(1)在CARLA模拟器中生成的合成事件流，用于控制"接近-穿越"场景，包含多种天气和光照条件；(2)真实世界的JAAD行车记录仪346个视频，使用v2e工具转换为事件流，保留自然行为和背景。数据集包含基于事件的行人交互片段（JPG/PNG + AEDAT/AEDAT4 + AVI预览）。

数据结构

DVS_PedX/ ├── carla_simulator/ │ ├── frames_dataset_rgb/ │ │ └── <sample_id>/ # UUID-like文件夹 │ │ └── <frame_index>-<label>.jpg # 标签: 0=不穿越, 1=穿越 │ ├── frames_dataset_dvs/ │ │ └── <sample_id>/ │ │ └── <frame_index>-<label>.png │ ├── frames_dataset_weather_rgb/ │ │ └── <sample_id>/ → <frame_index>-<label>.jpg │ └── frames_dataset_weather_dvs/ │ └── <sample_id>/ → <frame_index>-<label>.png │ └── JAAD_DVS/ ├── video_0001/ │ ├── video_0001_v2.aedat # AEDAT v2事件流 │ ├── video_0001_v4.aedat4 # AEDAT v4事件流 │ ├── dvs-video.avi # 预览视频 │ ├── dvs-video-frame_times.txt # 预览帧时间戳 │ └── v2e-args.txt # v2e转换参数 ├── video_0002/ └── ...

文件信息

• 总大小: 16.8 GB
• 文件组成:
  • DVS_PedX.tar.gz.part-000 (5.2 GB)
  • DVS_PedX.tar.gz.part-001 (5.2 GB)
  • DVS_PedX.tar.gz.part-002 (5.2 GB)
  • DVS_PedX.tar.gz.part-003 (1.1 GB)
  • DVS_PedX.tar.gz.sha256 (82 Bytes)

数据集重组说明

数据集被分割为多个5 GB部分以便下载和上传。提供macOS/Linux和Windows系统的重组指南。

SHA-256完整性校验: cd85422bff47b51d861d1fff8c6a6b5b5bfcf28fa3bdd00503b2e9b5c4fd3324

技术信息

• 创建者: Sakhai, Mustafa (AGH University of Krakow); Wielgosz, Maciej
• 数据收集者: Jędrejasz, Krzysztof
• 创建时间: 2024年6月
• 收集时间: 2024年9月
• 有效时间: 2024年10月
• 可用时间: 2025年9月
• 许可证: Creative Commons Attribution 4.0 International
• 编程语言: Python
• 开发状态: Active

相关资源

• 软件仓库: https://github.com/MustafaSakhai/videos-specifications-rgb_to_dvs-v2e
• 被引用: 10.3390/electronics13214280 (DOI)
• 标识符: dvs-pedx

统计信息

• 浏览量: 595
• 下载量: 634
• 数据量: 2.4 TB

搜集汇总

数据集介绍

构建方式

在自动驾驶与智能交通系统研究中，事件相机因其高动态范围与低延迟特性成为关键传感器。DVS-PedX数据集通过双源构建策略实现数据采集：一方面利用CARLA仿真平台生成合成事件流，通过随机化光照（昼/昏/夜）与天气（晴/雨/雾）条件，模拟车辆接近人行横道时行人是否通行的场景，并同步输出30Hz的RGB帧与33ms累积的事件帧；另一方面将真实世界JAAD数据集中的346段行车记录视频，通过v2e工具转换为事件流，保留自然背景与行为模式，最终形成包含对齐多模态数据与帧级标注的复合数据集。

特点

该数据集的核心价值体现在其多源性与时空对齐特性。合成数据部分包含198段序列（117段良好天气、81段恶劣天气），每段持续30秒并以30Hz频率提供数据；真实转换部分涵盖346段5-10秒的JAAD-DVS视频。所有数据均提供严格对齐的RGB帧与事件帧，同时保留原始AEDAT格式事件流以供微秒级时序分析。数据集特别强调真实场景中的类别不平衡问题，即行人穿越帧仅为少数样本，且通过事件帧的极性编码（正事件亮色、负事件暗色）凸显运动边缘信息，静态背景则自然消退。

使用方法

针对行人穿越意图识别与检测任务，该数据集支持多种研究范式。建议采用域适应训练策略：以CARLA合成数据作为训练集，JAAD-DVS真实数据作为测试集，以评估模型跨域泛化能力；若需提升真实场景性能，可混合少量JAAD-DVS数据进行微调。对于时序敏感任务，可直接调用AEDAT原始事件流构建1-5毫秒级微时间切片。多模态融合可尝试双流架构，结合RGB的外观信息与事件流的运动特征。需注意通过损失加权或采样技术缓解类别不平衡问题，并推荐使用脉冲神经网络（SNN）进行基准测试以保持与事件数据的神经形态一致性。

背景与挑战

背景概述

动态视觉传感器（DVS）作为神经形态视觉系统的核心组件，以其微秒级时间分辨率、高动态范围和低延迟特性，在自动驾驶和智能交通领域展现出巨大潜力。DVS-PedX数据集由AGH科技大学的研究团队于2025年创建，专注于行人检测与过街意图分析这一核心研究问题。该数据集创新性地融合了CARLA模拟器生成的合成事件流与JAAD数据集经v2e工具转换的真实事件流，涵盖正常与恶劣天气条件下的多模态数据，为神经形态视觉系统在复杂环境下的鲁棒性研究提供了重要基准。

当前挑战

在领域问题层面，DVS-PedX需解决行人过街意图的动态时序建模挑战，特别是在雨雾等恶劣天气下事件信噪比降低的问题。数据集构建过程中面临双重挑战：其一是合成数据与真实数据间的域适应难题，CARLA模拟器生成的理想化事件流与真实世界转换数据存在分布差异；其二是多模态对齐的技术复杂性，需确保RGB帧与事件帧在33毫秒累积窗口内的精确时空同步，同时处理原始AEDAT事件流与累积帧之间的数据一致性校验。

常用场景

经典使用场景

在自动驾驶与智能交通系统中，DVS-PedX数据集为基于事件的视觉感知研究提供了关键支撑。其经典应用场景集中于行人过街意图的实时识别与行为预测，尤其在恶劣天气条件下表现出显著优势。通过结合合成数据与真实转换数据，该数据集支持模型在光照变化、雨雾干扰等复杂环境中的鲁棒性验证，为动态视觉传感器（DVS）在低延迟、高动态范围场景下的性能评估提供了标准化基准。

衍生相关工作

DVS-PedX催生了多项经典研究工作，例如基于SpikingJelly框架的脉冲神经网络模型，其在合成数据上训练后迁移至真实场景的域适应研究。此外，该数据集启发了多模态融合架构的探索，如结合RGB外观信息与事件运动特征的双流网络设计。相关成果已延伸至恶劣天气下的实时检测、事件流生成工具（如v2e）的优化，以及神经形态视觉系统在自动驾驶中的系统性评估。

数据集最近研究

最新研究方向

在自动驾驶与智能交通领域，事件相机因其低延迟与高动态范围特性正成为研究热点。DVS-PedX数据集通过融合合成仿真数据与真实转换事件流，为行人检测与过街意图预测提供了多模态基准。当前研究聚焦于脉冲神经网络在恶劣天气下的实时性能优化、仿真到现实的域适应问题，以及RGB与事件数据的跨模态融合。该数据集推动了神经形态感知技术在安全关键场景中的应用，并为解决实际环境中的光照与天气变异问题提供了重要实验平台。

相关研究论文

• DVS-PedX: Synthetic-and-Real Event-Based Pedestrian Dataset

  AGH科技大学计算机科学、电子与电信学院，波兰克拉科夫 · 2025年