S2R-HDR

S2R-HDR是一个由上海人工智能实验室和香港中文大学合作创建的大型高质仿真HDR图像数据集，包含24000个样本。该数据集使用虚幻引擎5设计了多样化的真实HDR场景，涵盖各种动态元素、运动类型和高动态范围场景。数据集在创建过程中，通过自定义渲染管线，确保输出数据保持在线性HDR空间，并以EXR格式存储，以防止数据量化。S2R-HDR数据集旨在用于HDR融合，并解决动态场景下HDR重建的泛化问题。S2R-HDR is a large-scale high-quality simulated HDR image dataset co-developed by Shanghai AI Laboratory and The Chinese University of Hong Kong, which contains 24,000 samples. This dataset uses Unreal Engine 5 to design diverse realistic HDR scenes, covering various dynamic elements, motion types and high dynamic range scenarios. During the dataset creation process, a custom rendering pipeline was adopted to ensure that the output data remains in the linear HDR space, and is stored in EXR format to avoid data quantization. The S2R-HDR dataset is intended for HDR fusion tasks, and aims to address the generalization problem of HDR reconstruction in dynamic scenes.

搜集汇总

数据集介绍

构建方式

S2R-HDR数据集通过虚幻引擎5（Unreal Engine 5）构建，采用定制化的渲染管线，确保输出保持在线性HDR空间，并以EXR格式存储以避免数据量化。该数据集包含24,000张HDR图像，覆盖了多种动态场景，包括不同的光照条件、天气变化以及动态对象（如动物、行人和车辆）。此外，通过模拟手持拍摄时的相机抖动，进一步增强了数据的真实性。

特点

S2R-HDR数据集具有高质量、大规模和多样性的特点。其图像通过精心设计的渲染管线生成，确保了高动态范围和丰富的细节。数据集包含24,000张图像，规模远超现有数据集，且涵盖了多种动态元素和光照条件。此外，数据集的可控环境设计允许灵活调整环境因素，进一步增强了数据的多样性和实用性。

使用方法

S2R-HDR数据集可用于训练和评估HDR重建模型。用户可以从原始HDR图像生成不同曝光的LDR图像，并应用数据增强技术以提高模型的鲁棒性。此外，数据集还支持域适应技术（如S2R-Adapter），帮助模型更好地从合成数据迁移到真实场景。具体使用时，建议结合PSNR、SSIM和HDR-VDP2等指标进行模型性能评估。

背景与挑战

背景概述

S2R-HDR数据集由上海人工智能实验室和香港中文大学的研究团队于2025年提出，是首个面向高动态范围（HDR）融合任务的大规模合成数据集。该数据集通过虚幻引擎5构建了包含24,000个HDR样本的高质量渲染场景，覆盖室内外环境、多样光照条件及动态元素（如人物、车辆和动物）。其核心研究目标是解决真实HDR数据采集成本高、技术难度大的问题，为计算摄影、自动驾驶等领域的HDR重建算法提供标准化训练基准。相较于Kalantari（89样本）等传统数据集，S2R-HDR在规模上实现了两个数量级的突破，并通过领域适配器S2R-Adapter有效缩小了合成与真实数据的分布差距，在Challenge123等基准测试中使模型PSNR指标提升达2dB。

当前挑战

在领域问题层面，S2R-HDR针对HDR融合中的三大核心挑战：大范围运动导致的伪影（如鬼影）、极端光照场景（如直射阳光）的细节恢复，以及动态元素多样性不足引发的过拟合问题。其构建过程面临三重技术难点：1）真实感渲染需克服引擎默认色调映射对动态范围的压缩，通过定制化管线保留线性HDR数据；2）动态场景建模需平衡物理精度与计算效率，采用Perlin噪声模拟手持拍摄抖动；3）领域迁移需解决合成数据与真实传感器数据的纹理差异，提出双分支适配器结构（共享分支秩1/迁移分支秩64）实现知识保留与转移。数据分布分析显示，合成与真实数据的t-SNE投影间距较基线数据集缩小37%，验证了领域适配的有效性。

常用场景

经典使用场景

S2R-HDR数据集作为首个大规模高质量合成HDR融合数据集，其经典使用场景主要集中在动态场景的高动态范围图像重建领域。通过虚幻引擎5构建的24,000组HDR样本，该数据集能够模拟真实世界中复杂的光照变化、物体运动及环境多样性，为训练端到端的HDR重建模型提供了丰富的合成数据支撑。尤其在处理大范围运动伪影（如快速移动的前景物体）和极端光照条件（如直射阳光场景）时，数据集通过精确控制的渲染管线生成线性HDR序列，显著提升了模型对真实场景的泛化能力。

实际应用

在计算摄影和自动驾驶等实际应用中，S2R-HDR展现出显著价值。数据集支持的模型可有效消除逆光场景下的鬼影伪影，恢复夜间高光区域的细节信息。例如在车载视觉系统中，经该数据集训练的HDR重建算法能准确处理阳光直射挡风玻璃产生的极端曝光差异，提升环境感知可靠性。此外，其合成数据可定制化特性允许快速生成不同白平衡、噪声水平的LDR图像序列，为移动端HDR成像算法的开发提供了高效测试平台。

衍生相关工作

该数据集催生了多项HDR重建领域的创新工作：1）基于S2R-Adapter的测试时自适应框架，首次实现了无标注真实数据的域适应，相关方法被扩展至CNN和Transformer架构；2）启发了动态规模因子调节技术，通过不确定性度量自适应平衡合成与真实域知识；3）为DiffHDR等扩散模型提供了高质量训练资源，推动生成式方法在HDR融合中的应用。其技术路线还影响了MatrixCity等合成数据集的构建范式，促进了神经渲染与域适应技术的交叉融合。