LDR-HDR视频数据集

本研究构建了一个大规模的LDR-HDR视频数据集，包含85个场景，每个场景有60对LDR-HDR帧，涵盖了城市街道、动物园、公园和建筑物等多种场景。数据集通过利用错位读出模式在小米10 Ultra手机上捕捉长短期曝光图像，并融合为HDR帧。此数据集旨在解决现有HDR视频重建方法依赖合成数据集的问题，通过提供真实世界的LDR-HDR对，提高HDR重建的性能。This study constructs a large-scale LDR-HDR video dataset consisting of 85 scenes, with 60 pairs of LDR-HDR frames per scene, covering diverse scenarios such as urban streets, zoos, parks, and buildings. The dataset captures short and long exposure images on the Xiaomi 10 Ultra smartphone via the staggered readout mode, and fuses these images into HDR frames. This dataset is designed to address the issue that existing HDR video reconstruction methods rely heavily on synthetic datasets, and improve the performance of HDR reconstruction by providing real-world LDR-HDR pairs.

搜集汇总

数据集介绍

构建方式

在动态场景高动态范围视频重建领域，真实LDR-HDR配对数据的稀缺长期制约着模型性能。本数据集创新性地利用小米10 Ultra手机的交错读出模式，实现了长曝光与短曝光图像在近乎同一时刻的同步捕获。通过特定加权函数融合这两幅图像，生成了每帧对应的HDR真值，覆盖原始RAW与标准sRGB双域。最终构建了包含85个场景、每场景60帧的大规模视频数据集，有效解决了动态场景下真实配对数据缺失的难题。

特点

该数据集的核心特点在于其真实性与完整性。作为目前唯一提供逐帧HDR真值的动态场景数据集，它同时囊括了RAW与sRGB两种格式，充分利用了RAW数据位宽更宽、线性度更高的优势。数据覆盖城市街道、公园建筑等多种场景，曝光比在1:8至1:9之间动态调整，将动态范围提升了约18dB。其规模与多样性显著超越了现有同类数据集，为模型训练提供了更丰富的真实世界特征与运动模式。

使用方法

该数据集主要用于监督式高动态范围视频重建模型的训练与评估。研究者可将RAW或sRGB域的LDR序列作为输入，以对应的HDR真值为目标进行训练。数据集支持对现有基准网络进行再训练，以提升其在真实场景下的泛化能力与重建质量。同时，其RAW域数据为探索直接在原始线性域进行HDR重建的新算法提供了坚实基础，有助于减少因ISP流程引入的信息损失与伪影。

背景与挑战

背景概述

高动态范围视频重建技术因其超越低动态范围视频的卓越视觉质量而备受关注。LDR-HDR视频数据集由天津大学岳焕静、杨敬宇等研究人员于2023年构建，旨在解决动态场景中真实LDR-HDR视频训练数据缺失的核心问题。该数据集利用交错传感器同步捕获长短曝光图像，融合生成原始与sRGB双域的HDR帧，包含85个场景各60帧，大幅提升了HDR重建模型在真实场景中的泛化能力，推动了计算摄影与视频处理领域的发展。

当前挑战

该数据集致力于解决动态场景高动态范围视频重建的挑战，包括交替曝光下参考帧亮度变化导致的运动对齐困难，以及过曝与欠曝区域细节缺失引发的重影伪影。在构建过程中，研究人员面临同步捕获长短曝光图像的技术瓶颈，需通过交错读出模式实现时间重叠以减少位移；同时，为生成每帧真实HDR真值，需设计精密融合流程并克服原始域白平衡处理带来的色彩偏差问题，确保数据在双域中的一致性与可用性。

常用场景

经典使用场景

在计算摄影与计算机视觉领域，高动态范围视频重建技术致力于从低动态范围序列中恢复出具有更丰富亮度细节的视觉内容。LDR-HDR视频数据集通过交错传感器捕获同步长短曝光帧，构建了大规模的真实场景配对数据，为基于深度学习的HDR重建算法提供了关键训练资源。该数据集在模型训练与评估中扮演核心角色，尤其适用于处理动态场景下的曝光融合与运动对齐问题，成为推动视频HDR研究进展的重要基准。

解决学术问题

该数据集有效应对了高动态范围视频重建中长期存在的若干学术挑战。首先，它解决了真实世界LDR-HDR配对数据匮乏的问题，通过提供每帧对应的HDR真值，支持监督式学习的可靠训练。其次，数据集同时包含原始传感器数据与sRGB域数据，有助于探索原始数据在宽位深与线性特性上的优势，改善因曝光不足或过度导致的细节丢失与对齐误差。此外，其多样化的场景与动态内容为研究复杂光照条件下的运动补偿与去鬼影算法提供了坚实基础。

衍生相关工作

该数据集的发布催生了一系列围绕高动态范围视频重建的创新研究。例如，基于数据集的Raw-HDRNet提出了金字塔光流引导可变形卷积对齐机制，显著提升了大运动场景下的重建精度。同时，多项工作利用该数据集的真实配对特性，改进了现有基准网络如Yan19、Kalantari19与Chen21等的性能，验证了原始域处理相对于sRGB域的优越性。这些衍生研究不仅拓展了视频HDR的技术边界，也为多曝光融合、运动估计与图像恢复等交叉方向提供了新的方法论启示。