PEOD

PEOD是首个大规模提供同步高分辨率事件流和RGB图像的数据集，用于在挑战性条件下进行目标检测。该数据集包含120多个驾驶序列，涵盖城市、郊区和隧道环境，57%的数据在低光照、过曝或高速条件下采集。数据集提供1280×720像素对齐的事件流和RGB帧，包含34万个手动验证的边界框标注，涵盖六个对象类别（汽车、公交车、卡车、两轮车、三轮车、行人），具有超过87 dB的高动态范围。PEOD is the first large-scale dataset that provides synchronized high-resolution event streams and RGB images for object detection under challenging conditions. This dataset includes over 120 driving sequences covering urban, suburban and tunnel environments, with 57% of the data collected under low-light, overexposed or high-speed conditions. The dataset provides 1280×720 pixel-aligned event streams and RGB frames, contains 340,000 manually validated bounding box annotations covering six object categories (cars, buses, trucks, two-wheelers, three-wheelers and pedestrians), and boasts a high dynamic range of over 87 dB.

原始信息汇总

PEOD数据集概述

数据集基本信息

PEOD是首个大规模提供同步高分辨率事件流和RGB图像的数据集，专门用于挑战性条件下的目标检测任务。

核心特征

• 高分辨率多模态数据：1280×720像素对齐的事件流和RGB帧
• 全面场景覆盖：120+个驾驶序列，涵盖城市、郊区和隧道环境
• 挑战性条件：57%数据在低光照、过曝或高速条件下采集
• 丰富标注：34万个手动验证的边界框
• 高动态范围：事件相机具备>87 dB HDR能力

技术规格

• 分辨率：1280×720
• 序列数量：120+
• 总帧数：72k
• 标注数量：340k
• 采集频率：30 Hz
• 目标类别：6类（汽车、公交车、卡车、两轮车、三轮车、行人）

数据分布

• 训练集：27万个边界框，包含多样化光照和运动条件
• 测试集：7万个边界框，用于基准测试

数据结构

PEOD/ ├── train/ │ ├── sequence_001/ │ │ ├── rgb/ # RGB帧（PNG格式） │ │ ├── events.dat # 事件流数据 │ │ └── boxes.npy # 边界框标注 ├── test/ └── metadata/ ├── class_names.txt # 目标类别定义 ├── statistics.json # 数据集统计信息 └── splits.json # 训练/测试划分信息

目标类别

类别	描述
汽车	标准乘用车辆
公交车	公共交通车辆
卡车	商用车辆
两轮车	摩托车、自行车
三轮车	自动三轮车
行人	行人

独特优势

• 完美像素对齐：同轴双相机系统确保事件和RGB数据的精确空间对应
• 挑战性条件覆盖：低光照、高速运动、极端光照场景
• 事件相机优势：高时间分辨率、高动态范围、运动模糊免疫、低延迟

获取方式

数据集即将公开发布，请访问项目页面获取最新信息。

引用

如需在研究中使用PEOD，请引用我们的论文（即将发布）。

许可证

MIT许可证

联系方式

• 项目页面：https://EchosLiu.github.io/PEOD-dataset/
• 邮箱：[e-mail]；[e-mail]；[e-mail]

搜集汇总

数据集介绍

构建方式

在自动驾驶感知系统研究领域，PEOD数据集通过同轴双摄像头系统实现了事件流与RGB图像的高精度同步采集。构建过程中采用1280×720高分辨率传感器，覆盖城市、郊区及隧道等多样化驾驶场景，累计采集超过120个行车序列。数据标注环节由专业人员手动验证完成，共生成34万边界框标注，涵盖六类关键交通参与者，其中57%的数据专门针对低光照、过曝及高速运动等挑战性条件设计。

特点

该数据集最显著的特征在于其像素级对齐的多模态数据结构，通过同轴光学设计确保事件流与RGB图像的空间一致性。事件相机具备超过87分贝的高动态范围特性，能有效应对极端光照变化，同时提供微秒级时间分辨率的数据流。数据集包含72,000帧同步数据，特别强化了隧道出口强光眩光、黄昏低照度等传统视觉系统易失效场景的覆盖密度。

使用方法

研究人员可通过标准化数据接口加载同步多模态数据流，其中事件数据以二进制格式存储，RGB图像采用PNG标准格式。训练集包含27万标注实例，测试集保留7万实例用于算法验证。使用过程中建议优先利用事件数据的高动态范围特性补偿RGB图像的曝光不足，通过时空对齐机制实现跨模态特征融合。数据目录按序列组织，配套元数据文件提供详细的类别定义与统计信息。

背景与挑战

背景概述

PEOD数据集作为首个大规模同步事件流与RGB图像融合的目标检测基准，由研究团队于2025年构建，旨在解决自动驾驶在极端环境下的感知瓶颈。该数据集通过同轴双摄像头系统采集了超过120组驾驶序列，涵盖城市、郊区及隧道等多场景，提供72,000帧像素级对齐的多模态数据。其核心价值在于突破传统视觉传感器在低光照、高速运动等挑战性条件下的性能局限，为跨模态感知算法研究提供了关键基础设施。

当前挑战

该数据集致力于攻克动态环境下目标检测的稳定性难题，具体表现为传统RGB传感器在运动模糊、光照突变等场景中识别精度骤降。构建过程中面临多重技术挑战：需实现事件相机与RGB相机微秒级时间同步与亚像素空间对齐；在超过57%的极端光照序列中保持标注一致性；同时需平衡六类交通参与者在高速运动下的多尺度特征表征。

常用场景

经典使用场景

在自动驾驶感知系统开发中，PEOD数据集为多模态目标检测提供了关键基准。其像素级对齐的事件流与RGB图像数据，特别适用于研究极端光照条件下的物体识别，如隧道出入口的强光过渡或夜间低光照环境。该数据集通过高动态范围事件相机捕捉微秒级运动变化，为传统视觉算法在高速运动场景中的性能衰减问题提供了验证平台。

解决学术问题

该数据集有效解决了传统RGB传感器在动态范围与运动模糊方面的固有局限。通过提供超过87dB动态范围的事件数据，研究者可突破标准相机约60dB的动态范围瓶颈，进而探索在逆光、眩光等极端光照下的稳健检测方法。其精确时空对齐的多模态特性，为跨模态特征融合、时空一致性建模等基础研究提供了新范式。

衍生相关工作

该数据集催生了多项事件视觉与RGB融合的突破性研究。基于其像素对齐特性，学界提出了双流特征金字塔网络，实现了事件运动信息与RGB纹理特征的深度融合。后续工作进一步开发出时空注意力机制，通过事件流的时间连续性增强动态目标检测鲁棒性。这些成果为多模态感知模型在复杂环境下的泛化能力奠定了理论基础。