GTA-HDR

GTA-HDR是一个大规模的合成数据集，包含从GTA-V视频游戏中抽样的逼真HDR图像，用于HDR图像重建和其他计算机视觉任务，如3D人体姿态估计、人体部位分割和整体场景分割。

GTA-HDR is a large-scale synthetic dataset containing photorealistic HDR images sampled from the video game GTA-V, which is designed for HDR image reconstruction and other computer vision tasks, such as 3D human pose estimation, human part segmentation, and overall scene segmentation.

原始信息汇总

GTA-HDR: High Dynamic Range Content Creation and Quality Assessment using Deep Learning

数据集概述

GTA-HDR是一个大规模的合成数据集，用于HDR图像重建，采样自支持HDR-10的GTA-V游戏。该数据集旨在填补现有公开数据集在HDR图像重建方面的空白，特别是无参考HDR图像质量评估的需求。

数据集特点

场景多样性

GTA-HDR数据集包含多种场景，包括不同地点（室内、城市、乡村、野外）、不同光照条件（早晨、中午、傍晚、夜晚）以及不同天气和季节条件（夏季、冬季、雪天、雨天、晴天、多云）。

图像多样性

数据集包含40K张HDR图像和40K张失真的HDR图像，以及1M张LDR图像。这些图像具有多样化的颜色色调、饱和度、曝光和对比度水平。

数据收集流程

1. 使用GTA-V内置的HDR-10支持捕获视频序列。
2. 使用Script Hook V插件从GTA-V游戏序列中捕获HDR帧。
3. 通过去除相似帧和应用变换生成多曝光LDR图像和失真的HDR图像。

数据集特性

数据集	类型	#HDR<sub>GT</sub>	分辨率	野外场景	HDR<sub>Dis</sub>	场景多样性	图像多样性
GTA-HDR (ours)	合成	40000	512×512	✓	✓	✓	✓

实验和结果

GTA-HDR数据集对HDR图像重建的性能有显著影响。通过与现有数据集的对比实验，展示了GTA-HDR在提高HDR图像重建质量方面的优势。

引用

如果使用该数据集，请引用相关论文：

@article{barua2024gta, title={GTA-HDR: A Large-Scale Synthetic Dataset for HDR Image Reconstruction}, author={Barua, Hrishav Bakul and Stefanov, Kalin and Wong, KokSheik and Dhall, Abhinav and Krishnasamy, Ganesh}, journal={arXiv preprint arXiv:2403.17837}, year={2024} }

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，高动态范围图像重建研究长期受限于真实场景数据采集的高成本与低效率。GTA-HDR数据集通过创新性地利用《侠盗猎车手V》这一具备光线追踪技术的游戏引擎，构建了大规模合成数据采集流程。研究团队采用Script Hook V插件从两段总计约35小时的游戏录像中以每秒一帧的频率采集原始HDR-LDR图像对，初始获得12.6万对数据。通过基于相似度阈值的帧筛选机制与人工清洗，剔除冗余帧和敏感内容，最终精选出4万对高质量图像对。该流程还通过曝光值变换与对比度调整生成了100万张多变体LDR图像，并运用先进算法合成了4万张失真HDR图像，形成了层次丰富的立体化数据体系。

特点

该数据集的核心优势体现在场景与图像特征的双重多样性。在场景维度，覆盖城市、沙漠、室内、郊野等十余种地理环境，囊括晨昏昼夜四时变化与雨雪晴阴多种气象条件，同时包含建筑、车辆、人物等多类实体对象，这种全方位覆盖确保了像素色彩、亮度与照度的广泛分布。在图像特征层面，通过系统化的曝光值调整与对比度变换，构建了包含九种曝光等级与九种对比度级别的图像变体体系，形成了总计144万张图像的庞大规模。特别值得关注的是，数据集首次提供了经过精确标注的失真HDR图像集合，为无参考图像质量评估研究开辟了新的数据基础。

使用方法

该数据集主要服务于高动态范围图像重建模型的训练与评估。研究人员可将多曝光LDR图像作为输入，对应HDR真值作为监督信号，训练端到端的重建网络。数据集提供的曝光变体支持单曝光与多曝光两种训练范式，对比度变体则有助于提升模型对色彩分布的适应能力。在评估阶段，失真HDR图像集合可用于训练无参考质量评估模型，通过计算其与真值图像的感知质量指标，构建质量预测网络。实验表明，将本数据集与现有真实数据集结合使用，能显著提升现有先进方法在PSNR、SSIM和HDR-VDP-2等指标上的性能，并在三维人体姿态估计、语义分割等下游任务中展现出卓越的泛化能力。

背景与挑战

背景概述

高动态范围成像技术因其在娱乐、医疗影像及计算摄影等领域的广泛应用而备受关注，但真实场景的HDR内容采集成本高昂且耗时。为应对这一挑战，从低动态范围图像重建HDR图像的研究逐渐兴起，然而现有数据集在规模、分辨率和场景多样性方面存在显著局限。GTA-HDR数据集由莫纳什大学等机构的研究团队于2024年创建，通过从《侠盗猎车手V》游戏中提取逼真的合成图像，构建了包含4万对LDR-HDR图像的大规模资源。该数据集不仅填补了HDR重建领域高质量基准数据的空白，还通过涵盖多样化的光照、天气、场景与物体特征，显著提升了现有重建方法的性能，并为三维人体姿态估计等下游任务提供了有力支持。

当前挑战

在HDR图像重建领域，核心挑战在于如何从有限动态范围的LDR输入中准确恢复宽动态范围的视觉细节，尤其是处理过曝与欠曝区域的色彩与亮度信息。现有方法常因训练数据缺乏多样性而导致泛化能力不足，难以应对复杂多变的真实场景。GTA-HDR数据集的构建过程亦面临多重挑战：首先，从游戏引擎中提取高保真HDR图像需克服实时渲染与数据同步的技术难题；其次，为确保数据质量与多样性，需设计高效的帧采样策略以消除冗余，并手动清理包含敏感内容的图像；此外，生成多曝光与多对比度的LDR变体需精确模拟真实相机响应，而大规模合成数据的标注与验证亦对计算资源与流程优化提出了较高要求。

常用场景

经典使用场景

在计算机视觉领域，高动态范围图像重建旨在从低动态范围图像中恢复出具有宽广亮度范围和丰富细节的视觉内容。GTA-HDR数据集通过从《侠盗猎车手V》游戏中提取的逼真合成图像，为这一任务提供了大规模、多样化的训练资源。该数据集最经典的使用场景是作为数据驱动的逆色调映射算法的训练基准，支持从单曝光或多曝光LDR图像中重建出高质量的HDR图像。其涵盖的多种场景条件，如不同光照、天气、时间和地点，使得模型能够学习到广泛的视觉特征，从而在复杂环境下实现精准的HDR重建。

衍生相关工作

基于GTA-HDR数据集，研究者们开发了一系列经典的HDR重建方法，推动了该领域的进步。例如，ArtHDR-Net利用多曝光特征和感知损失，实现了视觉上准确的HDR生成；SingleHDR通过多曝光生成策略，从单张LDR图像中重建HDR内容；HistoHDR-Net结合直方图均衡化技术，改善了颜色和对比度的恢复效果。这些工作不仅验证了数据集的有效性，还衍生出新的网络架构和训练策略。此外，该数据集还被用于无参考图像质量评估方法的研究，进一步扩展了其在图像处理领域的应用范围。

数据集最近研究

最新研究方向

在计算机视觉领域，高动态范围图像重建技术正朝着数据驱动的深度学习范式演进，而GTA-HDR数据集的推出恰好填补了现有数据集在规模、分辨率和场景多样性方面的关键空白。该数据集通过从《侠盗猎车手V》游戏中提取逼真的合成图像，构建了包含四万对LDR-HDR图像的大规模资源，其前沿研究方向聚焦于利用合成数据增强模型在复杂光照条件下的泛化能力。当前研究热点围绕多曝光与多对比度条件下的逆色调映射展开，探索如何通过数据多样性提升重建图像的视觉保真度。这一进展不仅推动了单图像HDR重建技术的精度突破，更通过特征空间扩展促进了三维人体姿态估计、语义分割等下游任务的性能提升，为跨模态视觉理解奠定了新的数据基石。

相关研究论文

• GTA-HDR: A Large-Scale Synthetic Dataset for HDR Image Reconstruction

  · 2024年