eAP Dataset

用于自动驾驶感知的最大的多模态事件相机数据集。

The largest multimodal event camera dataset for autonomous driving perception.

原始信息汇总

eAP 数据集概述

数据集简介

eAP 数据集是用于自动驾驶感知的、最大的多模态事件相机数据集。

引用信息

如需使用本数据集，请引用以下文献： bibtex @misc{li2026eap, title = {Toward Deep Representation Learning for Event-Enhanced Visual Autonomous Perception: the eAP Dataset}, author = {Li, Jinghang and Li, Shichao and Lian, Qing and Li, Peiliang and Chen, Xiaozhi and Zhou, Yi}, year = {2026}, eprint = {2603.16303}, archivePrefix = {arXiv}, primaryClass = {cs.RO}, url = {https://arxiv.org/abs/2603.16303}, }

数据格式

每个发布的序列都是一个独立的目录，结构如下： text $DATASET_ROOT/ └── <sequence_id>/ ├── annotations.pkl ├── frames.pkl ├── events.h5 └── rgb/ └── *.png

文件说明

1. annotations.pkl

   • 包含物体级标注信息。
   • 主要字段包括：file_name（对应RGB图像文件名）、events_file（关联的HDF5事件文件路径）、sequence_id（序列标识符）、instance_id（跟踪实例ID）、category（物体类别标签）、bbox（2D边界框[x, y, w, h]）、bbox_3d（自车坐标系下的3D边界框[x, y, z, l, h, w, yaw]，Z轴向上）、T_event_ego（自车坐标系到事件相机坐标系的变换矩阵）、K_event（事件相机内参矩阵）、velocity（自车坐标系下的物体速度）、ttc（碰撞时间，单位秒）、rgb_exposure_start_timestamp_us（RGB曝光开始时间戳，微秒）、rgb_exposure_end_timestamp_us（RGB曝光结束时间戳，微秒）。

2. frames.pkl

   • 包含全帧索引（包括无标注的帧）。
   • 主要字段包括：file_name（RGB图像文件名）、events_file（关联的HDF5事件文件路径）、sequence_id（序列标识符）、rgb_exposure_start_timestamp_us（RGB曝光开始时间戳，微秒）、rgb_exposure_end_timestamp_us（RGB曝光结束时间戳，微秒）。

3. events.h5

   • 事件流数据，存储为HDF5格式。
   • 通过毫秒到索引的映射表（ms_to_idx）和events组进行访问，events组包含字段t（时间戳，微秒）、x、y、p（极性）。
   • 可视化工具使用以每个RGB曝光中点为中心的50毫秒时间窗口。

可视化工具

工具位于 release_visualizer/ 目录下。

环境配置

bash pip install -r release_visualizer/requirements.txt

视频可视化 (visualize_release_sequence.py)

将完整序列渲染为MP4视频。

• 基本命令： bash python release_visualizer/visualize_release_sequence.py $DATASET_ROOT --sequence-id <sequence_id> --output-dir ./outputs

• 输出：./outputs/<sequence_id>_release_visualization.mp4

• 布局：左侧面板为RGB图像与事件叠加；右侧面板为带有碰撞时间（TTC）标注的鸟瞰图。

• 关键参数：

  参数	默认值	描述
  --fps	10	输出视频帧率
  --max-frames N	—	仅渲染前N帧
  --frame-step N	1	每N帧渲染一帧
  --image-width	960	左侧RGB/事件面板宽度（像素）
  --bev-width	760	鸟瞰图面板宽度（像素）
  --fwd-max	60.0	鸟瞰图前向范围（米）
  --lat-max	30.0	鸟瞰图横向半范围（米）

帧采样 (sample_release_frames.py)

导出少量随机采样的渲染帧（PNG格式）用于快速检查。

• 基本命令： bash python release_visualizer/sample_release_frames.py $DATASET_ROOT --sequence-id <sequence_id> --output-dir ./release_checks --samples-per-asset 5

• 输出：./release_checks/<sequence_id>_<frame_idx>.png

• 关键参数：

  参数	默认值	描述
  --samples-per-asset	5	每个序列随机采样的帧数
  --seed	0	可重复采样的随机种子
  --image-width	960	左侧面板宽度（像素）
  --bev-width	760	鸟瞰图面板宽度（像素）

故障排除

如遇OpenMP共享内存错误，请显式设置线程数： bash env OMP_NUM_THREADS=1 MKL_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 KMP_INIT_AT_FORK=FALSE python release_visualizer/visualize_release_sequence.py ...

搜集汇总

数据集介绍

构建方式

在自动驾驶感知领域，多模态数据融合正成为提升环境理解能力的关键路径。eAP数据集通过集成事件相机与传统RGB相机，构建了大规模同步采集框架。其数据采集过程在真实道路场景中展开，每段序列均以自包含目录形式组织，涵盖事件流、RGB图像及精细化标注。事件数据以HDF5格式存储，通过毫秒级索引映射实现高效访问；标注信息则采用序列化对象记录，包含二维与三维边界框、相机内外参、物体运动状态等多层次属性，确保了时空对齐的精确性。

特点

作为目前规模最大的面向自动驾驶感知的事件增强多模态数据集，eAP的突出特点在于其高动态范围与微秒级时间分辨率。事件相机数据以异步流形式捕捉亮度变化，有效弥补了传统RGB相机在高速运动或光照突变场景下的感知局限。数据集提供了丰富的三维物体标注，包括在自车坐标系下的位置、尺寸、朝向以及速度、碰撞时间等动态属性，支持端到端的时空联合建模。此外，数据格式设计兼顾易用性与扩展性，通过标准化文件结构降低多模态数据融合的工程门槛。

使用方法

为便于研究者快速开展实验，数据集配套提供了独立的可视化工具链。用户可通过安装依赖包并运行指定脚本，将序列渲染为融合RGB与事件叠加视图、鸟瞰视角及碰撞时间标注的视频输出。工具支持自定义帧率、渲染范围与输出分辨率，并包含随机帧采样功能用于快速数据校验。数据读取接口清晰规范，标注文件以Python序列化格式存储，事件流可通过HDF5索引高效提取，使得多模态感知算法的训练与评估流程得以简化。

背景与挑战

背景概述

事件相机作为一种新兴的仿生视觉传感器，以其高动态范围、低延迟和低功耗的特性，为自动驾驶感知系统提供了突破传统帧式相机局限的新途径。eAP数据集由Jinghang Li、Shichao Li等研究人员于2026年构建并发布，旨在推动事件增强视觉自主感知的深度表征学习研究。作为目前面向自动驾驶感知的最大规模多模态事件相机数据集，eAP通过同步采集RGB图像与高分辨率事件流，并辅以精细的物体级三维标注，为核心研究问题——如何在复杂动态驾驶场景中实现鲁棒、高效的物体检测与跟踪——提供了关键数据基础。该数据集的建立显著促进了事件视觉与自动驾驶领域的交叉融合，为开发下一代适应极端光照与高速运动的感知算法奠定了实证基石。

当前挑战

在自动驾驶感知领域，传统视觉系统在高速运动、强光或弱光等极端条件下常面临运动模糊与信息缺失的挑战。eAP数据集所针对的核心问题，正是如何利用事件相机的高时序分辨率特性来增强这些困难场景下的物体检测、三维定位及时间碰撞预测的鲁棒性。构建该数据集的过程亦伴随多重挑战：多模态数据的高精度时间同步与空间标定要求极为严苛；事件流的海量异步数据需要高效存储与索引机制；此外，在真实道路环境中采集并标注大规模、多样化的驾驶序列，涉及复杂的传感器集成、数据清洗以及三维边界框与物理属性（如速度、碰撞时间）的精确标注，这些都对数据工程的可靠性与完整性提出了高标准要求。

常用场景

经典使用场景

在自动驾驶感知领域，事件相机以其高动态范围和微秒级时间分辨率著称，能够有效捕捉高速运动场景下的细微变化。eAP数据集作为目前规模最大的多模态自动驾驶感知数据集，其经典使用场景集中于事件增强的视觉感知任务。研究者通常利用该数据集中的事件流与RGB图像同步数据，训练和评估在极端光照条件、快速运动或传感器噪声环境下的目标检测与跟踪模型。通过融合事件数据的异步特性与RGB图像的丰富纹理信息，模型能够更精准地识别动态物体并预测其运动轨迹，为自动驾驶系统提供鲁棒的感知能力。

衍生相关工作

围绕eAP数据集，学术界已衍生出一系列经典研究工作。这些工作主要集中在多模态融合架构设计、事件数据表示学习以及自动驾驶感知任务优化等方面。例如，研究者开发了新型神经网络以有效集成事件流与RGB序列，提升目标检测在动态场景中的准确性。另有工作专注于利用事件数据的稀疏性设计高效推理模型，降低计算开销。此外，基于该数据集的基准测试推动了事件相机标定、跨模态自监督学习等领域的发展，为后续大规模事件视觉数据集的构建与应用奠定了方法论基础。

数据集最近研究

最新研究方向

在自动驾驶感知领域，事件相机以其高动态范围和低延迟特性，正成为突破传统视觉系统瓶颈的关键技术。eAP数据集作为目前规模最大的多模态自动驾驶数据集，融合事件流与RGB图像，并提供了丰富的三维边界框、速度及碰撞时间等标注信息，为事件增强的视觉感知研究奠定了坚实基础。当前前沿研究聚焦于利用该数据集探索事件与RGB数据的深度融合机制，以提升在极端光照、高速运动等挑战性场景下的物体检测与跟踪鲁棒性。相关热点事件如特斯拉等车企对新型视觉传感器的布局，进一步凸显了事件相机在下一代自动驾驶系统中的潜在价值。eAP数据集的发布不仅推动了神经形态视觉与深度学习模型的交叉创新，也为实现更安全、高效的自主驾驶系统提供了关键数据支撑，具有重要的学术与工程意义。