EvMetro5K

EvMetro5K是由北京航空航天大学与中车研究院联合构建的首个大规模RGB-Event多模态数据集，包含5599组同步采集的RGB图像与事件流数据，涵盖地铁场景下不同天气、光照及车速条件。数据通过配备RGB相机、近红外相机和高清事件相机的多模态设备采集20余小时原始视频，经人工标注与验证后提取有效里程标记样本。该数据集为复杂环境（如低光照、高速运动）下的公里标识别任务提供了基准支持，推动轨道交通视觉感知系统的鲁棒性研究。

EvMetro5K is the first large-scale RGB-Event multimodal dataset jointly constructed by Beihang University and CRRC Research Institute. It includes 5599 sets of synchronously acquired RGB images and event stream data, covering diverse weather, lighting and train speed conditions in subway scenarios. Over 20 hours of raw video was collected using a multimodal setup equipped with an RGB camera, a near-infrared (NIR) camera and a high-definition event camera, and valid mileage marker samples were extracted following manual annotation and verification. This dataset provides benchmark support for kilometer marker recognition tasks in complex environments such as low-light conditions and high-speed motion, promoting research on the robustness of rail transit visual perception systems.

原始信息汇总

EvMetro5K 数据集概述

数据集基本信息

• 数据集名称：EvMetro5K
• 构建目的：为在地铁列车复杂运行环境（如光照变化、高速运动、恶劣天气）下，研究基于RGB相机和事件相机的多模态感知系统而构建，特别聚焦于GNSS拒止条件下的自主地铁定位关键任务——公里标识别（Kilometer Marker Recognition, KMR）。
• 数据规模：包含5,599对同步的RGB-Event样本。
• 数据划分：训练集4,479个样本，测试集1,120个样本。
• 核心特点：首个大规模RGB-Event数据集。

相关研究

• 提出方法：基于预训练RGB OCR基础模型，并通过多模态适应增强的鲁棒基线方法。
• 论文标题：RGB-Event HyperGraph Prompt for Kilometer Marker Recognition based on Pre-trained Foundation Models
• 作者：Xiaoyu Xian, Shiao Wang, Xiao Wang, Daxin Tian, Yan Tian
• 发表状态：已被IEEE Transactions on Cognitive and Developmental Systems (IEEE TCDS) 2026接收。
• 论文链接：
  • arXiv: https://arxiv.org/abs/2602.22026
  • IEEE: https://ieeexplore.ieee.org/document/11415399

数据集获取

• 下载地址：https://pan.baidu.com/s/12_t08av0h1YtlGIzZLm_KA?pwd=AHUE （百度网盘）

引用格式

如果本工作对您的研究有帮助，请引用以下文献并为我们点亮星标。

@misc{xian2026EvMetro5K, title={RGB-Event HyperGraph Prompt for Kilometer Marker Recognition based on Pre-trained Foundation Models}, author={Xiaoyu Xian and Shiao Wang and Xiao Wang and Daxin Tian and Yan Tian}, year={2026}, eprint={2602.22026}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2602.22026}, }

搜集汇总

数据集介绍

构建方式

在轨道交通视觉感知领域，面对光照剧烈变化、高速运动及恶劣天气等复杂环境，传统RGB相机常难以提供可靠感知。为应对这一挑战，EvMetro5K数据集通过部署一套多模态成像系统构建而成，该系统由RGB相机、近红外相机和高清事件相机同步组成。研究团队在真实地铁运营场景中采集了超过20小时的多模态视频数据，涵盖不同天气、时段、光照条件及列车运行速度。从原始视频中提取出67,602帧后，经人工标注与验证，筛选出包含有效里程牌信息的样本，最终构建了包含5,599对同步RGB-事件样本的数据集，并按8:2比例划分为4,479个训练样本与1,120个测试样本。

特点

EvMetro5K作为首个面向地铁场景的大规模RGB-事件里程牌识别数据集，其核心特点在于深度融合了事件相机的成像优势。事件相机通过测量像素亮度变化输出异步事件流，具备高达120dB的动态范围与微秒级时间分辨率，能有效克服RGB图像在低光照、过曝光及高速运动下的性能局限。数据集样本覆盖了隧道暗光、地面强光、雨雾天气等多种极端条件，为模型提供了丰富的跨模态学习场景。每对样本均包含RGB图像与事件流重建的灰度图像，后者保留了更清晰的结构细节，为里程牌字符识别提供了互补的视觉线索，极大增强了模型在复杂环境下的鲁棒性。

使用方法

该数据集主要用于支持基于RGB-事件融合的里程牌识别研究，可作为训练与评估多模态感知模型的基准。使用者可依据数据集中提供的配对样本，设计跨模态特征提取与融合网络，例如将事件流重建为灰度图像后，与RGB图像共同输入至视觉Transformer架构中进行联合表征学习。数据集的官方划分确保了训练与测试的独立性，研究者可在测试集上系统评估模型在光照变化、运动模糊等挑战下的泛化能力。此外，数据集还可延伸应用于动态场景重建、低光照增强等相关视觉任务，为轨道交通智能化提供关键的数据支撑。

背景与挑战

背景概述

EvMetro5K数据集由北京航空航天大学与安徽大学联合团队于2026年构建，旨在解决城市轨道交通领域在GNSS拒止环境下的自主定位难题。该数据集聚焦于公里标识别这一核心任务，针对地铁运行中常见的高动态光照变化、高速运动模糊及恶劣天气等复杂感知场景，首次大规模同步采集了RGB相机与事件相机的多模态数据。其包含5,599对配对的RGB-事件样本，通过融合事件相机的高动态范围与低功耗特性，显著提升了视觉系统在极端条件下的鲁棒性，为智能交通系统的环境感知研究提供了关键数据支撑。

当前挑战

该数据集致力于解决复杂动态环境下视觉里程标识别准确率不足的领域挑战，传统RGB视觉在低光照、运动模糊和过曝条件下感知能力受限。构建过程中的主要挑战包括多模态数据的精确时间同步、在高速运动与光照剧烈变化场景下的有效样本采集，以及大规模数据的人工标注与质量验证。此外，如何设计合理的基准模型以实现RGB与事件模态的高效融合，并建立可靠的评估体系，亦是该数据集面临的重要技术难题。

常用场景

经典使用场景

在轨道交通智能感知领域，EvMetro5K数据集为多模态视觉研究提供了关键支撑。该数据集主要应用于地铁公里标识别任务，通过同步采集的RGB图像与事件相机数据，构建了涵盖复杂光照、高速运动及恶劣天气条件的真实场景样本。研究者可基于此数据集开发鲁棒的识别模型，探索RGB与事件模态的互补特性，以应对地下隧道低照度、地面段过曝及动态模糊等极端挑战，从而推动自动驾驶地铁在GNSS拒止环境下的精确定位技术发展。

衍生相关工作

围绕EvMetro5K数据集，已衍生出多项经典研究工作。以超图提示学习为核心的HGP-KMR框架首次将RGB-Event融合引入公里标识别，启发了后续多模态提示策略在交通感知中的探索。该数据集亦支撑了事件流重建、跨模态对齐等基础算法研究，并与PARSeq、CDistNet等场景文本识别模型结合，推动了多模态OCR技术向极端环境的拓展。相关成果为EventPAR、EventSTR等事件视觉数据集的建设提供了方法论参照，形成了以事件增强为核心的多模态感知研究脉络。

数据集最近研究

最新研究方向

在轨道交通视觉感知领域，面对地铁运行中光照剧烈变化、高速运动及恶劣天气等复杂环境挑战，EvMetro5K数据集的建立标志着多模态感知研究的重要进展。该数据集作为首个大规模RGB-事件同步样本库，为公里标识别任务提供了关键基准，推动了基于事件相机的高动态范围视觉研究。当前前沿方向聚焦于RGB与事件模态的深度融合，特别是超图提示学习框架的引入，通过构建多模态超图捕获高阶交互信息，显著提升了在低光照、运动模糊等极端条件下的识别鲁棒性。这一进展不仅强化了自动驾驶地铁在GNSS拒止环境下的定位能力，也为多模态基础模型在复杂场景中的适应性研究开辟了新路径，对智能交通系统的安全性与可靠性具有深远意义。

相关研究论文

• RGB-Event HyperGraph Prompt for Kilometer Marker Recognition based on Pre-trained Foundation Models

  北京航空航天大学·交通科学与工程学院; 中车研究院有限公司; 安徽大学·计算机科学与技术学院 · 2026年