Heat Chamber Dataset 和 Turbulent Text Dataset

本研究介绍了两个大规模的真实世界湍流数据集：Heat Chamber Dataset和Turbulent Text Dataset。Heat Chamber Dataset通过在成像路径上加热空气来人工增强湍流效应，包含2400张图像，用于评估图像恢复算法的性能。Turbulent Text Dataset则专注于通过光学文字识别作为语义“代理”任务来评估图像恢复效果，包含100个场景，每个场景有100张静态帧。这两个数据集的创建旨在解决长距离计算机视觉中的图像恢复问题，特别是针对大气湍流引起的图像失真。

This study introduces two large-scale real-world turbulent datasets: Heat Chamber Dataset and Turbulent Text Dataset. The Heat Chamber Dataset, which artificially enhances turbulent effects by heating air along the imaging path, contains 2400 images and is used to evaluate the performance of image restoration algorithms. The Turbulent Text Dataset focuses on evaluating image restoration effects using optical character recognition (OCR) as a semantic "proxy" task, comprising 100 scenes with each scene containing 100 static frames. These two datasets are developed to address the image restoration problem in long-range computer vision, particularly for image distortion caused by atmospheric turbulence.

原始信息汇总

数据集概述

数据集名称

• Turbulence Text Dataset
• Heat Chamber Dataset

数据集下载链接

• Turbulence Text Dataset: 下载链接
• Heat Chamber Dataset: 下载链接

数据集引用

如果您的研究或工作中使用了这些数据集，请引用以下论文： bibtex @inproceedings{Mao2022SingleFA, title={Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A New Physics-Inspired Transformer Model}, author={Zhiyuan Mao and Ajay Jaiswal and Zhangyang Wang and Stanley H. Chan}, booktitle={European Conference on Computer Vision (ECCV)}, year={2022} }

搜集汇总

数据集介绍

构建方式

Heat Chamber Dataset and Turbulent Text Dataset are two large-scale real-world turbulence testing datasets presented in the paper 'Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A New Physics-Inspired Transformer Model'. These datasets are designed to evaluate the performance of image restoration algorithms in mitigating atmospheric turbulence effects. The Heat Chamber Dataset is collected by heating the air along the imaging path to artificially create a stronger turbulence effect, while the Turbulent Text Dataset uses text recognition accuracy as a semantic 'proxy' task to evaluate the restoration algorithms. Both datasets contain 100 static turbulence degraded frames for each scene, allowing for comprehensive evaluation of the learning-based models.

使用方法

The datasets can be used for evaluating the performance of image restoration algorithms in mitigating atmospheric turbulence effects. The Heat Chamber Dataset can be used for classical objective evaluation, such as PSNR and SSIM, while the Turbulent Text Dataset can be used for a new task-driven metric using text recognition accuracy. Both datasets can be used to train and test deep learning models, and the performance can be compared with other state-of-the-art methods. The datasets are publicly available and can be used by researchers in the field of computer vision and image processing.

背景与挑战

背景概述

大气湍流是长距离成像系统中导致像素几何位移和模糊的主要因素之一。现有的图像恢复算法通常基于静态权重的卷积核，不足以处理大气湍流的动态效应。为了解决这一问题，本研究提出了一种基于物理的Transformer模型，用于通过大气湍流的成像。该模型利用Transformer模块联合提取动态湍流失真图并恢复无湍流的图像。此外，鉴于缺乏全面的数据库，本研究收集并提出了两个新的真实湍流数据集，允许使用经典客观指标（例如PSNR和SSIM）以及使用文本识别准确性的新任务驱动指标进行评估。

当前挑战

大气湍流的图像恢复算法设计比传统算法更具挑战性，因为湍流引起的失真是一个空间变化的模糊、几何失真和传感器噪声的纠缠。现有的基于CNN的恢复方法无法处理空间动态的大气湍流效应。此外，由于缺乏广泛接受的实时大规模基准数据集，算法可能无法得到适当的评估。

常用场景

经典使用场景

在大气湍流影响下，图像的清晰度和细节往往受到严重破坏。TurbNet数据集主要用于训练和评估图像恢复算法，以减轻大气湍流对图像的影响。该数据集包含大量真实世界的湍流图像，这些图像是通过加热成像路径上的空气来人工创建更强的湍流效果，或者使用真实长距离相机拍摄的文本图像。这些图像可以用于评估图像恢复算法的性能，例如PSNR和SSIM等经典客观指标，以及使用光学字符识别准确性的新任务驱动指标。

解决学术问题

TurbNet数据集解决了大气湍流图像恢复的学术研究问题。大气湍流对图像的影响非常复杂，包括像素位移、模糊和噪声等。现有的图像恢复算法往往难以处理这种复杂的影响。TurbNet数据集提供了一个大规模、多样化的训练和测试平台，可以帮助研究人员开发和评估新的图像恢复算法，以提高大气湍流图像的恢复质量。

实际应用

TurbNet数据集在实际应用中具有重要意义。它可以用于开发图像恢复算法，以减轻大气湍流对图像的影响，从而提高图像的清晰度和细节。这些算法可以应用于各种领域，例如遥感、天文观测、安全监控等。此外，TurbNet数据集还可以用于评估光学字符识别算法的性能，以帮助提高文本识别的准确性。

数据集最近研究

最新研究方向

大气湍流图像恢复领域的研究正朝着利用物理启发式模型和Transformer架构的方向发展。该领域的研究人员正在开发能够同时提取动态湍流失真图和恢复无湍流图像的模型，以解决现有CNN模型在处理空间动态大气湍流效应方面的不足。此外，研究人员还致力于收集和展示新的真实世界湍流数据集，以便使用经典客观指标和新任务驱动指标进行评估。这些研究进展对于提高远程计算机视觉系统的性能具有重要意义，并有望在未来得到更广泛的应用。

相关研究论文

• Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A New Physics-Inspired Transformer Model

  普渡大学 · 2022年