FEOT

FEOT 是一个高空间分辨率的帧-事件跟踪数据集，具有像素级对齐和遮挡级别标注，旨在为评估抗遮挡单目标跟踪器提供可靠的基准。数据集采用帧-事件双模式（Prophesee EVK4 + FLIR BFS-U3-32S4M），通过同轴光学系统实现像素级对齐，空间分辨率高达1070 x 610，并包含11个级别的遮挡标注。数据集结构按序列组织，每个序列包含事件数据、帧数据、对齐事件文件、属性文件、真实标注文件和时间戳文件。当前版本包含370个序列，经过严格筛选以增强场景多样性和遮挡模式覆盖。为保护隐私，数据集中所有人脸区域均经过马赛克模糊处理，不影响遮挡跟踪标注的有效性。数据集适用于图像特征提取等任务，语言为英语，规模在10K到100K之间。

FEOT is a high spatial resolution frame-event tracking dataset with pixel-level alignment and occlusion level annotations, designed to provide a reliable benchmark for evaluating occlusion-resistant single-object trackers. The dataset adopts a dual-mode of frame-event (Prophesee EVK4 + FLIR BFS-U3-32S4M), achieves pixel-level alignment through a coaxial optical system, with a spatial resolution of up to 1070 x 610, and includes 11 levels of occlusion annotations. The dataset structure is organized by sequences, each containing event data, frame data, aligned event files, attribute files, ground truth annotation files, and timestamp files. The current version contains 370 sequences, rigorously selected to enhance scene diversity and occlusion pattern coverage. To protect privacy, all facial regions in the dataset have been mosaicked, which does not affect the validity of occlusion tracking annotations. The dataset is suitable for tasks such as image feature extraction, the language is English, and the scale is between 10K to 100K.

原始信息汇总

FEOT 数据集概述

基本信息

• 数据集名称：FEOT
• 许可证：CC-BY-NC-4.0（非商业用途）
• 任务类别：图像特征提取、其他（事件相机目标跟踪）
• 语言：英语
• 数据规模：10,000 至 100,000 个样本
• 官方网站：https://feot-dataset.github.io/

核心特性

• 双模数据：同时提供帧（Frame）和事件（Event）两种模式，由 Prophesee EVK4 事件相机和 FLIR BFS-U3-32S4M 帧相机采集
• 像素级对齐：采用共轴光学系统（Co-axial Optical System）实现帧与事件数据在像素级别的精确对齐
• 高空间分辨率：分辨率为 1070 × 610 像素
• 遮挡等级标注：包含 11 个等级的遮挡标注，适用于评估遮挡鲁棒的单一目标跟踪器

数据集结构

数据集根目录包含多个序列文件夹（如 Sequence_000001、Sequence_000002 等），每个序列文件夹内部结构如下：

• event/：事件数据图像文件夹（PNG 格式，命名如 000001.png）
• frame/：帧数据图像文件夹（PNG 格式，命名如 000001.png）
• aligned_event.h5：对齐后的事件数据文件（HDF5 格式）
• attribute.txt：属性信息文件
• gt.txt：真实标注（Ground Truth）文件
• timestamp.txt：时间戳文件

补充说明

• 序列数量：当前版本共包含 370 个序列，略高于原始论文中的数量，原因是数据最终整理和质量验证阶段增加了经严格筛选的额外序列，以提升场景多样性和覆盖更广泛的遮挡模式。
• 隐私保护：为保护个人隐私，数据集中所有包含人脸的区域均添加了马赛克模糊处理。该处理不影响遮挡跟踪标注的有效性，且符合数据隐私和伦理标准。论文中报告的结果基于马赛克处理前的数据。

引用信息

若使用该数据集，请按以下 BibTeX 格式引用： bibtex @InProceedings{Dong2026CVPR, title = {Tracking through Severe Occlusion via Event-Derived Transient Cues}, author = {Hao Dong, Yujin Liu, Haoyue Liu, Zhenyu Wang, Shihan Peng, Zhiwei Shi, Yi Chang, Luxin Yan}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}, pages={XXX--XXX}, year = {2026} }

搜集汇总

数据集介绍

构建方式

FEOT数据集构建于共轴光学系统之上，通过同步集成Prophesee EVK4事件相机与FLIR BFS-U3-32S4M传统帧相机，实现了帧-事件双模态数据的像素级对齐。数据采集涵盖370个精心筛选的序列，每个序列包含事件流图像、帧图像、对齐后的事件文件及精确的时空标注。在构建后期，研究团队额外纳入一批经严格质量验证的序列，以增强场景多样性与遮挡模式覆盖度，并遵循隐私保护标准，对人脸区域进行马赛克模糊处理而不影响跟踪标注的有效性。

特点

该数据集具备高空间分辨率（1070×610），并引入11级遮挡标注体系，为评估遮挡鲁棒性目标跟踪算法提供了精细化基准。其核心特性在于帧-事件双模态数据在像素级别的精确对齐，这一设计充分利用事件相机对快速运动与光照变化的敏感性，有效弥补传统帧相机在严重遮挡场景下的观测缺陷。数据集结构规范，每个子序列独立存储，便于研究人员直接调用与复现实验结果。

使用方法

用户可通过下载FEOT根目录，按序列编号访问事件与帧图像数据及标注文件。每个序列文件夹内包含event与frame子目录、“aligned_event.h5”融合数据、“gt.txt”真实跟踪框及“timestamp.txt”时间戳文件。使用时可基于PyTorch或类似框架构建自定义数据加载器，读取图像序列并关联对应标注，适用于单目标跟踪器的训练与评估。公开的基准论文提供了详细的实验配置与评估协议，便于使用者直接对比性能。

背景与挑战

背景概述

事件相机作为一种新型视觉传感器，能够在高速运动与极端光照条件下捕捉场景中的像素级亮度变化，为传统基于帧的视觉系统提供了互补信息。在此背景下，FEOT数据集由Hao Dong、Yujin Liu等研究者于2026年创建，依托武汉大学等机构，致力于解决单目标跟踪在严重遮挡场景下的性能瓶颈。该数据集通过共轴光学系统实现了帧-事件双模态数据在像素级的精确对齐，并提供了11级遮挡等级标注，为评估遮挡鲁棒性跟踪器提供了可靠基准。其高空间分辨率（1070×610）与精细标注显著提升了事件相机在视觉跟踪领域的可用性，预计将推动多模态融合技术的研究进展。

当前挑战

FEOT数据集旨在解决的核心领域挑战是严重遮挡下的单目标跟踪问题。传统基于帧的跟踪器在目标被完全或部分遮挡时易丢失目标，而事件相机的瞬态响应特性可提供连续的运动线索，但缺乏对齐的高分辨率标注数据限制了算法验证。在构建过程中，研究者面临双重挑战：一是需要设计精密的光学共轴系统以实现帧与事件数据的像素级对齐，二是对遮挡等级进行量化标注（11级）需兼顾粒度和一致性。此外，隐私保护要求对含人脸区域进行马赛克处理，需确保不破坏遮挡标注的有效性。数据集的最终版本纳入了370个序列，覆盖多样化遮挡模式，但严格的数据筛选与质量验证进一步增加了构建复杂度。

常用场景

经典使用场景

FEOT数据集专为事件相机与帧相机融合的视觉跟踪任务设计，其核心应用场景是评估和训练在严重遮挡条件下具备鲁棒性的单目标跟踪器。凭借像素级对齐的双模态数据（事件流与灰度帧）以及11级遮挡精细标注，该数据集为研究者提供了一个可控且具有挑战性的基准平台，用以验证算法在复杂遮挡环境下的跟踪持续性与精度。

衍生相关工作

围绕FEOT数据集，学术界已衍生出若干经典工作，例如基于事件驱动的时间相关滤波跟踪方法、融合双模态特征的Transformer跟踪架构，以及利用事件体素表示的遮挡预测网络。这些工作不仅验证了事件线索在跟踪中的有效性，还进一步推动了跨模态特征对齐、脉冲神经网络跟踪等新方向的探索，形成了一套完整的遮挡鲁棒跟踪研究体系。

数据集最近研究

最新研究方向

FEOT数据集为事件相机与可见光帧融合的遮挡鲁棒单目标跟踪研究树立了前沿基准。当前热点聚焦于利用事件相机微秒级时间分辨率捕捉瞬态遮挡边缘信息，以克服传统帧相机在严重遮挡下的特征丢失问题。该数据集通过同轴光学系统实现像素级对齐，并首度提供11级精细遮挡标注，为探索事件引导的遮挡感知跟踪范式提供了关键实验平台。其发布恰逢多模态感知与具身智能兴起，对提升机器人、自动驾驶等在复杂交互场景下的持续跟踪可靠性具有重要推动意义。