遇见数据集

EVR2

收藏
arXiv2026-08-06 更新2026-08-08 收录
官方服务:

资源简介:

EVR2是由中国科学技术大学与合肥综合性国家科学中心人工智能研究院联合创建的事件驱动反射去除基准数据集,也是该领域首个真实世界数据集。该数据集采用Event-RGB混合相机在精密线性滑轨上采集,通过受控微动诱导运动视差,从而捕获反射与透射层间的差异运动。数据集包含多种真实场景下的反射图像与同步事件流,旨在利用微动动力学线索解决反射与背景间的固有歧义,为事件相机在计算摄影中的反射去除任务提供标准化评估基准。

EVR2 is an event-driven reflection removal benchmark dataset co-developed by the University of Science and Technology of China (USTC) and the Institute of Artificial Intelligence of Hefei Comprehensive National Science Center, and it is also the first real-world dataset in this field. The dataset is collected using an Event-RGB hybrid camera mounted on a precision linear motion slide, where controlled micro-movements are applied to induce motion parallax, thereby capturing the differential motion between reflection and transmission layers. The dataset includes reflection images and synchronized event streams across various real-world scenarios, aiming to leverage micro-motion dynamic cues to resolve the intrinsic ambiguity between reflections and their backgrounds, providing a standardized evaluation benchmark for the reflection removal task of event cameras in computational photography.

创建时间:
2026-08-06
原始信息汇总

EvReflection 数据集概述

EvReflection 是一个面向事件驱动反射去除任务的数据集,由 ICML 2026 论文《EvReflection: Event-Driven Micro-Dynamics for Reflection Removal》提出,旨在利用事件相机的微动态信息解决反射与背景层分离问题。该数据集是领域内首个用于此任务的真实世界数据集。

数据集构成

数据集包含两大部分:

1. 合成数据集

  • 生成方式:基于视差感知的模拟流程生成,考虑了相机轨迹、反射合成和事件生成模型
  • 内容格式:包含配对的RGB帧(输入/真值)及同步事件流文件,每个序列以 .h5 格式存储

2. 真实世界数据集(EVR²)

  • 采集设备:使用事件-RGB混合相机(分辨率 608×768)
  • 场景覆盖:涵盖多种真实世界挑战场景,包括室内和室外环境
  • 内容格式:包含带反射的输入帧、事件流,以及经过对齐验证的真实背景真值图像

数据集结构

数据集按以下目录组织:

dataset/ ├── VOC/ # 合成数据序列(基于VOC数据集) ├── SIR2/ # 基于SIR2数据集的合成序列,包括Postcard、SolidObject、WildScene三类场景 └── EvR2/ # 真实世界数据,包含train/、test/以及不同测试间距(3mm、5mm、8mm)的子集

所有序列均以 .h5 文件格式存储,包含事件流数据。

下载方式

数据集可通过以下两种渠道获取:

  • Google Drive:在官方仓库中提供了下载链接
  • 百度网盘:提供备用下载途径(提取码:3qbj)

配套资源

  • 预训练模型:提供两个预训练模型(EvReflection_voc_best.pthEvReflection_joint_best.pth),分别基于VOC数据集和VOC+EvR²联合训练
  • 评估代码:通过 test.py 脚本配合预训练模型即可在测试集上进行性能评估

发布状态

数据集代码及完整数据(含合成和真实序列)已于 2026 年 5 月 17 日正式公开发布,论文被 ICML 2026 接收。

搜集汇总
数据集介绍
EVR2 数据集图片
构建方式
EVR2数据集是首个用于事件驱动反射去除的真实世界基准数据集。其构建过程依托于一套精密采集系统,包含一台高分辨率事件-RGB混合相机(608×768)与电动线性滑台,确保在记录场景时能够产生平滑且可重复的水平平移,从而诱发可靠的视差运动。数据集覆盖了140个不同场景,并采用三种特定厚度(3mm、5mm、8mm)的玻璃板以研究折射几何的复杂效应,最终生成420对(140场景×3厚度)序列。为评估泛化性能,采用性能引导的分层采样策略选取测试集,依据基线模型的误差分布,精心挑选了11个代表性场景,涵盖从微弱半透明反射到重度饱和干扰的全难度谱系,并按厚度组织为EVR2-T3、T5、T8三个子集,以细致分析不同重影严重程度下的鲁棒性。
使用方法
EVR2数据集主要用于评估事件驱动反射去除模型的性能。使用时,研究者可将模型在合成数据集(如VOC事件流)上预训练,再在EVR2的真实样本上进行微调或联合训练,以适应真实世界的事件噪声与鬼影特征。数据集按玻璃厚度分为EVR2-T3、T5、T8三个子集,便于分项测试模型在不同反射强度下的表现。评测时通常采用PSNR、SSIM、LPIPS等全参考指标。建议遵循标准协议,利用官方提供的训练/测试划分,并参考论文中的评估设置以保证结果可比性。数据集中包含同步的RGB图像与事件流,为利用事件模态进行反射分离提供了数据基础。
背景与挑战
背景概述
EVR2数据集由Jiaxiao Wang等研究者于2026年构建,隶属中国科学技术大学与合肥综合性国家科学中心人工智能研究院,是首个针对事件驱动反射移除任务的真实世界基准数据集。该数据集旨在解决反射与透射层因深度差异在轻微相机运动下产生微动力学差异的物理现象,通过引入事件相机捕捉这些微观运动模式,突破传统单一图像或大基线多帧方法在反射移除中的固有歧义。EVR2包含140个不同场景、三种玻璃厚度(3mm、5mm、8mm)的420组同步RGB-事件序列,并采用性能引导的分层采样策略划分测试集,覆盖从微弱透射到严重鬼影的完整难度谱系,为评估模型在复杂真实环境下的泛化能力提供了标准化测试平台,有力推动了事件引导图像分离领域的发展。
当前挑战
EVR2数据集面临的挑战主要来自两方面。领域内,反射移除本质上是病态逆问题,传统RGB方法依赖静态外观先验或大基线运动视差,难以区分看似相似的反射与透射层,尤其在玻璃较厚时,双表面反射引发的严重鬼影效应加剧了分解难度;而事件信号虽能提供微秒级运动线索,但其稀疏异步特性与噪声干扰增加了有效特征提取的复杂度。构建过程中,真实世界同时获取像素级精确的真值(分离的透射与反射层)与高速事件流极为困难,需设计视差感知的仿真管线模拟光学几何与相机轨迹以生成物理一致的数据,并利用精密滑轨与混合相机系统采集真实数据,确保运动视差的可靠性与场景多样性,同时控制基线模型误差分布以合理划分测试子集,全面评估算法的鲁棒性。
常用场景
经典使用场景
EVR2数据集作为首个面向事件驱动反射去除的真实世界基准,为评估与比较反射分离算法提供了标准平台。其独特之处在于同步采集RGB图像与事件流,捕捉微秒级亮度变化,从而揭示反射层与透射层因景深差异而产生的微动视差。研究者利用该数据集训练与验证基于事件相机的反射去除网络,如EvReflection,实现了在复杂反射场景下对透射层的精准恢复。数据集涵盖不同厚度玻璃(3mm、5mm、8mm)的140个场景,并依据难度分层采样构建测试子集,为定量评估算法鲁棒性提供了精细粒度。其经典使用方式包括:作为基准评测事件驱动反射去除算法的性能,以及作为训练数据联合合成数据以增强模型的泛化能力,推动事件视觉在图像恢复领域的发展。
解决学术问题
EVR2数据集有效解决了事件驱动反射去除研究中数据稀缺的根本难题。传统RGB方法受限于单帧图像中反射与透射层的高度模糊性,而多帧方法依赖大基线运动,限制了实际应用。该数据集通过提供首个真实世界配对RGB-事件数据,使研究者能够利用事件信号捕获微秒级动态差异,从物理上打破层间模糊性。其理论贡献在于证明当存在视差时,层分离问题在事件梯度约束下具有唯一解,将病态问题转化为适定问题。基于此,数据集催生了EvReflection网络,通过微动力学解耦器与视差注意力校正器,显著优于现有方法,在SIR2与EVR2基准上分别提升1.6dB和1.2dB PSNR。该数据集填补了领域空白,为事件驱动的图像分离任务奠定了实验基础,推动学术研究从静态先验转向动态物理线索。
实际应用
EVR2数据集及其配套方法在实际应用中展现出广泛潜力。在智能监控领域,透过玻璃窗的物体识别常因反射干扰而失效,事件驱动的反射去除可提升监控系统在商场、银行等场景下的目标检测准确性。在移动摄影中,手机相机拍摄玻璃展柜或车窗时,该技术能消除反射,获得清晰透射画面,提升用户体验。在机器人导航中,服务机器人在玻璃门或展示橱窗前需准确感知环境,剔除反射可避免误判。此外,自动驾驶汽车在穿过隧道或经过玻璃幕墙时,反射分离技术有助于增强感知可靠性。数据集涵盖多种玻璃厚度与工况,保障了算法在复杂真实环境中的泛化能力,为上述应用提供验证与训练基础。
数据集最近研究
最新研究方向
事件相机作为一种新型视觉传感器,以其微秒级时间分辨率和宽动态范围,正在重塑底层视觉任务的感知范式。EVR2数据集的提出,标志着反射移除领域迎来了从静态RGB成像向事件引导的动态感知的深刻变革。该数据集通过构建首个真实世界的事件-反射移除基准,开创性地利用事件流中蕴含的微动力学信息,即由轻微相机抖动引起的反射层与透射层间的视差运动,来破解传统单帧方法难以克服的层间歧义问题。这一前沿方向不仅推动了反射移除技术在多场景下的鲁棒性提升,更将事件相机的优势拓展至图像分离领域,为视觉感知系统在复杂光学干扰下的可靠运行提供了新的思路与数据支撑。
相关研究论文
  • 1
    EvReflection: Event-Driven Micro-Dynamics for Reflection Removal中国科学技术大学; 合肥综合性国家科学中心人工智能研究院 · 2026年
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务