Video Fusion Benchmark (VF-Bench)

VF-Bench是一个全面的数据集，涵盖了四种视频融合任务：多曝光视频融合、多焦点视频融合、红外-可见光视频融合和医疗视频融合。该数据集通过合成数据生成和现有数据集的严格筛选，提供了高质量、对齐良好的视频对。VF-Bench为视频融合提供了一个统一的评估协议，同时评估视频融合的空间质量和时间一致性。数据集的内容包括从现有数据集中获得的高质量、对齐良好的视频对，以及通过合成数据生成获得的视频对。数据集的创建过程涉及了严格的筛选和合成数据的生成，以确保数据的质量和准确性。VF-Bench旨在解决视频融合中的挑战，例如利用时间信息、数据集规模有限和缺乏评估协议等问题。

VF-Bench is a comprehensive dataset covering four video fusion tasks: multi-exposure video fusion, multi-focus video fusion, infrared-visible video fusion, and medical video fusion. This dataset provides high-quality, well-aligned video pairs through synthetic data generation and rigorous screening of existing datasets. VF-Bench offers a unified evaluation protocol for video fusion, which assesses both the spatial quality and temporal consistency of fused video results. The dataset comprises high-quality, well-aligned video pairs sourced from existing datasets, as well as video pairs generated via synthetic data generation. The dataset creation process involves strict screening and synthetic data generation to ensure the quality and accuracy of the data. VF-Bench aims to address core challenges in video fusion, such as the underutilization of temporal information, limited dataset scale, and the lack of standardized evaluation protocols.

搜集汇总

数据集介绍

构建方式

VF-Bench数据集通过创新的数据生成策略和严格的筛选流程构建而成，涵盖了多曝光、多焦点、红外-可见光和医学视频融合四大任务。针对多曝光和多焦点视频融合任务，研究团队分别采用高动态范围（HDR）视频的曝光调整技术和基于深度估计的模糊模拟方法生成合成数据；对于红外-可见光和医学视频融合任务，则通过客观指标筛选和人工校验从现有数据集中精选高质量视频对。所有数据均经过严格的时空对齐处理，确保视频对的精确匹配。

特点

VF-Bench作为首个综合性视频融合基准测试集，其核心特点体现在三个方面：多模态覆盖性包含四种具有显著特征差异的融合任务；数据高质量性通过合成生成与严格筛选确保视频对的低噪声和精确对齐；评估全面性创新性地整合了空间质量指标（VIF/SSIM）和时间一致性指标（BiSWE/MS2R），为视频融合任务提供多维度的性能评估框架。该数据集共包含697个视频场景，平均每场景147帧，为模型训练和评估提供了充分的数据支持。

使用方法

使用VF-Bench时需遵循其统一的评估协议：在训练阶段，建议采用五折交叉验证以充分利用有限数据；测试阶段需同时计算空间质量指标（如互信息MI和边缘保留度Qabf）和时间一致性指标（双向自扭曲误差BiSWE）。对于多曝光和医学融合任务，应注意线性光域的数据预处理；而红外-可见光融合需重点关注特征对齐。数据集提供标准化的数据划分（训练集80%，测试集20%）和评估代码，确保不同方法间的公平比较。

背景与挑战

背景概述

Video Fusion Benchmark (VF-Bench) 是由ETH Zürich、西安交通大学、上海交通大学和南京大学的研究团队于2025年提出的首个综合性视频融合基准数据集。该数据集旨在解决动态场景中多帧学习的时序一致性问题，覆盖了多曝光、多焦点、红外-可见光和医学视频融合四大任务。VF-Bench通过合成数据生成和现有数据集的严格筛选，提供了高质量、对齐良好的视频对，并建立了联合评估空间质量和时序一致性的统一协议。该数据集的推出填补了视频融合领域缺乏统一评估标准的空白，为基于深度学习的视频融合算法提供了重要的研究平台。

当前挑战

VF-Bench面临的挑战主要体现在三个方面：1) 时序信息利用方面，独立处理视频帧会忽略时序连续性，导致闪烁和运动不连贯；2) 数据规模限制方面，获取完美对齐、时序同步且多样化的视频对比静态图像更具挑战性，制约了数据驱动方法的发展；3) 评估协议缺失方面，现有指标主要针对图像融合任务，缺乏对时序一致性的考量。在构建过程中，研究团队还需克服多曝光视频对的动态范围调整、多焦点视频的物理精确模糊模拟，以及跨模态视频的严格对齐筛选等技术难题。

常用场景

经典使用场景

VF-Bench数据集在视频融合领域具有广泛的应用场景，特别是在多曝光、多焦点、红外-可见光和医学视频融合任务中。该数据集通过合成数据生成和严格筛选现有数据集，提供了高质量、对齐良好的视频对，为视频融合算法的开发和评估提供了坚实的基础。其统一评估协议能够同时评估视频融合的空间质量和时间一致性，使得研究者能够全面比较不同算法的性能。

解决学术问题

VF-Bench解决了视频融合领域中的多个关键学术问题。首先，它填补了视频融合领域缺乏全面基准数据集的空白，为研究者提供了标准化的评估平台。其次，通过引入时间一致性损失和评估指标，解决了传统图像融合方法在视频应用中存在的闪烁和时间不一致性问题。此外，该数据集还推动了多帧学习和时空信息利用的研究，为视频融合算法的设计提供了新的思路。

衍生相关工作

VF-Bench数据集已经衍生出多项经典研究工作。基于该数据集提出的UniVF框架成为视频融合领域的新基准，其采用的多帧学习和光流特征扭曲方法被后续研究广泛借鉴。此外，该数据集还促进了时间一致性评估指标的发展，如双向自扭曲误差(BiSWE)和双参考视频运动平滑度(MS2R)，这些指标为视频融合质量评估提供了新的标准。数据集的多任务特性也启发了跨模态融合和统一框架设计的相关研究。