DeepHDRVideo

DeepHDRVideo数据集是由阿里巴巴达摩院创建，用于高动态范围（HDR）视频重建的基准数据集。该数据集包含97个静态场景序列和184个动态场景测试对，总计281个序列。数据集通过使用Basler acA4096-30uc相机捕捉，具有4096×2168的高分辨率和26fps的帧率。创建过程中，通过多曝光图像合并生成静态场景的HDR帧，动态场景则通过特殊方法生成HDR对。该数据集主要用于评估和改进HDR视频重建技术，特别是在处理不同曝光下的视频序列时的性能。

The DeepHDRVideo dataset is a benchmark dataset created by Alibaba DAMO Academy for high dynamic range (HDR) video reconstruction. This dataset contains 97 static scene sequences and 184 dynamic scene test pairs, totaling 281 sequences in all. The dataset was captured using a Basler acA4096-30uc camera, with a high resolution of 4096×2168 and a frame rate of 26 fps. During its creation, HDR frames for static scenes were generated via multi-exposure image fusion, while HDR pairs for dynamic scenes were produced using specialized methods. This dataset is primarily used to evaluate and improve HDR video reconstruction technologies, particularly the performance when handling video sequences under varying exposures.

搜集汇总

数据集介绍

构建方式

DeepHDRVideo数据集的构建，首先通过光学流在图像空间进行粗略对齐和像素混合，以估计粗略的高动态范围视频。然后，在粗略高动态范围视频的特征空间中，使用可变形卷积和时序注意力进行更精细的对齐和时序融合，以产生更好的重建效果。

特点

DeepHDRVideo数据集的特点在于，它包含97个静态场景序列和184个动态场景测试对，为高动态范围视频重建方法的定量和全面评估提供了基准。数据集包含两种交替曝光的视频序列，即两曝光和三曝光，涵盖了室内、室外、白天和夜间场景，具有4096×2168的高分辨率和26fps的帧率。

使用方法

DeepHDRVideo数据集的使用方法包括：首先，使用CoarseNet网络在图像空间进行粗略重建；其次，使用RefineNet网络在特征空间进行精细重建。在训练模型时，需要使用Adam优化器和可微分的μ-law函数进行损失计算。评估模型时，可以使用PSNR、HDR-VDP-2和HDR-VQM等指标进行定量评估，并结合用户研究进行定性评估。

背景与挑战

背景概述

高动态范围（HDR）视频重建是一个极具挑战性的问题，它需要从交替曝光的视频序列中恢复出每个输入帧的HDR图像。DeepHDRVideo数据集由陈冠颖、陈超锋、郭世、梁哲同、黄建业和张磊等人于2021年8月创建，旨在为HDR视频重建提供一个真实的基准数据集。该数据集包含97个静态场景序列和184个动态场景测试对，涵盖了室内、室外、白天和夜晚等多种场景，为HDR视频重建方法提供了定量和全面的评估。DeepHDRVideo数据集的创建填补了该领域缺乏真实世界视频数据集的空白，对于推动HDR视频重建技术的发展具有重要意义。

当前挑战

DeepHDRVideo数据集面临的主要挑战包括：1）HDR视频重建的领域问题，即如何从交替曝光的视频序列中准确地重建出每个输入帧的HDR图像；2）构建过程中所遇到的挑战，例如如何处理过曝区域缺失的细节和欠曝区域的噪声，以及如何避免在运动区域产生鬼影伪影。为了克服这些挑战，DeepHDRVideo数据集采用了粗到精的深度学习框架，首先在图像空间进行粗略对齐和像素混合，然后利用可变形卷积和时序注意力机制在特征空间进行更精细的对齐和融合，从而实现了更准确的HDR视频重建。此外，DeepHDRVideo数据集还创建了包含静态和动态场景的基准数据集，为HDR视频重建方法提供了定量评估的基础。

常用场景

经典使用场景

在视频内容制作与编辑领域，DeepHDRVideo数据集被广泛应用于从交替曝光序列中重建高动态范围(HDR)视频。这种技术使得视频内容能够在明亮和昏暗区域都保持丰富的视觉细节，极大地提升了观看体验。DeepHDRVideo数据集通过其精细的图像空间和特征空间对齐技术，有效减少了传统方法中常见的鬼影伪影，使得重建的HDR视频更加真实和自然。

解决学术问题

DeepHDRVideo数据集解决了高动态范围视频重建中的两个关键学术研究问题：一是如何在交替曝光序列中实现精确的图像对齐，二是如何在重建过程中有效地融合图像以避免鬼影伪影。通过引入粗到精的深度学习框架，该数据集首先在图像空间进行粗略对齐和像素混合，然后在特征空间进行更精细的对齐和融合，显著提高了HDR视频重建的准确性和视觉效果。

衍生相关工作

DeepHDRVideo数据集的发布不仅为HDR视频重建领域提供了重要的基准数据，还促进了相关技术的创新和发展。基于该数据集的研究成果已经衍生出一系列经典工作，包括更先进的对齐和融合算法、更高效的深度学习模型等。这些衍生工作进一步提高了HDR视频重建的效率和效果，为该领域的技术进步和产业应用奠定了坚实的基础。