CTTH and LATH

我们提出了CTTH和LATH，两个用于湍流成像研究的事件-帧配对数据集，涵盖了热和大气两种情况。数据集包含同步的帧图像、事件数据和相应的时间戳，包括frames/、events/、frame_timestamp.txt和event_timestamp.txt。事件数据使用ALPIX-Pizol相机捕获，以时间切片格式输出。

We propose CTTH and LATH, two event-frame paired datasets for turbulence imaging research, covering both thermal and atmospheric scenarios. The datasets contain synchronized frame images, event data and their corresponding timestamps, including directories frames/, events/, and files frame_timestamp.txt and event_timestamp.txt. The event data is captured by the ALPIX-Pizol camera and output in time-slice format.

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称: CTTH 与 LATH
• 核心内容: 两个事件-帧配对的数据集，用于湍流成像研究。
• 应用领域: 湍流抑制、基于事件的视频/图像恢复。
• 发布日期: 2026年3月27日。

数据集构成与结构

CTTH：近距离热湍流混合数据集

• 设计目标: 捕捉真实静态和动态物体场景下的湍流，用于湍流抑制的严格评估。
• 包含场景:
  • 动态物体
  • 静态背景结构
  • 对应的真实参考数据（Ground-Truth）
• 数据组织:
  • 主目录：Dataset/CTTH/
  • 包含两个子集：Dynamic_Object/ 和 Static/。
  • 每个子集下包含 Train/ 和 Test/ 划分。
  • 每个序列（如 seq_000/）包含同步的帧图像、事件数据及对应的时间戳文件。

LATH：远距离大气湍流混合数据集

• 设计目标: 捕捉不同成像距离和场景下的大气湍流效应，为真实世界大气湍流下的泛化能力评估提供基准。
• 包含场景:
  • 远距离成像
  • 多样化的环境结构（如建筑、交通标志、移动车辆、桥梁）
• 数据组织:
  • 主目录：Dataset/LATH/
  • 包含多个序列（如 seq_000/）。
  • 每个序列包含湍流帧、事件数据及对应的时间戳文件。

数据内容与格式说明

每个数据序列包含以下同步内容：

• frames/: 以固定帧率（25Hz）捕获的强度图像。
• events/: 事件相机记录的事件时间切片数据（正事件=200，负事件=100，背景=0）。
• frame_timestamp.txt: 每帧图像的时间戳。
• event_timestamp.txt: 事件数据的时间戳。
• Flow/ (仅动态物体场景可用): 真实光流数据。

事件数据特别说明:

• 使用 ALPIX-Pizol 相机捕获，输出为时间切片格式而非完全异步流。
• 事件被分组到时间切片中，每个切片内所有事件共享一个时间戳，代表一个短时间窗口（1毫秒）内累积的事件。
• 提供了处理脚本（tools/event_processing.py）用于将时间切片事件转换为体素和极性交替统计量。

数据获取

• 下载地址: https://pan.baidu.com/s/1XsDaJTYYfcgNENzEL0_wqw?pwd=qaz3
• 提取码: qaz3

相关论文

• 论文标题: High-Quality and Efficient Turbulence Mitigation with Events
• 会议/期刊: CVPR 2026
• 在线版本: https://arxiv.org/abs/2603.20708
• 引用格式: bibtex @article{zhang2026high, title={High-Quality and Efficient Turbulence Mitigation with Events}, author={Zhang, Xiaoran and Ding, Jian and Duan, Yuxing and Liu, Haoyue and Chen, Gang and Chang, Yi and Yan, Luxin}, journal={arXiv preprint arXiv:2603.20708}, year={2026} }

搜集汇总

数据集介绍

构建方式

在湍流成像研究领域，数据采集的精确性与场景多样性是评估算法性能的关键。CTTH与LATH数据集通过精心设计的实验方案构建，分别聚焦于近距离热湍流与远距离大气湍流两种典型环境。CTTH数据集利用事件相机与帧相机同步采集，涵盖静态背景与动态物体场景，确保每一序列均包含受湍流影响的观测数据、对应的事件流以及高精度的时间戳标注。LATH数据集则通过在不同距离（如3.5公里至8公里）下进行长程成像，捕获了多样化的大气湍流效应，所有数据均经过严格的时间同步与空间对齐处理，为湍流抑制研究提供了可靠的基准。

特点

该数据集的核心特点在于其首次将事件流与帧图像在湍流环境下进行配对，形成了多模态的联合表示。事件数据采用时间切片格式，通过ALPIX-Pizol相机以1毫秒窗口累积事件，有效平衡了异步事件流的处理复杂度。数据集不仅提供了受湍流扭曲的帧序列与对应的事件切片，还包含了静态场景的真实参考图像以及动态场景下的光流真值，从而支持从图像重建到运动估计的全方位评估。这种结构化的多模态设计，使得数据集能够同时服务于传统的帧基湍流抑制方法与新兴的事件驱动算法研究。

使用方法

研究者在利用该数据集时，可依据其清晰的目录结构进行数据加载与预处理。每个序列均包含同步的帧图像文件夹、事件数据文件及相应的时间戳文本，用户可通过提供的脚本将时间切片事件转换为体素网格或极性统计量，以适应不同的神经网络输入需求。对于动态物体场景，光流真值可用于监督学习；而静态场景则提供了未受湍流影响的参考图像，便于进行失真度量与质量评估。数据集适用于训练与测试端到端的湍流抑制模型，亦可用于探索事件信息在提升图像稳定性与细节恢复方面的潜力。

背景与挑战

背景概述

在计算机视觉领域，湍流成像是长期存在的挑战性课题，大气与热湍流会严重扭曲图像，导致细节丢失与几何畸变，制约了远程监控、自动驾驶等关键应用的发展。CTTH与LATH数据集由张潇然、丁健等研究人员于2026年构建，旨在为湍流缓解研究提供首个同步的事件-帧配对基准。该数据集的核心研究问题在于利用事件相机的高动态特性，探索高效、高质量的湍流抑制方法，其发布标志着事件视觉与湍流成像的交叉研究迈入新阶段，为相关算法提供了至关重要的真实世界验证平台。

当前挑战

湍流缓解领域面临的核心挑战在于湍流引起的非刚性、时空变化畸变难以建模，传统基于帧的方法在动态场景下常面临运动模糊与信息缺失的困境。构建CTTH与LATH数据集的过程亦充满挑战，需在复杂真实环境中同步采集高分辨率帧图像与事件流数据，确保时间戳精确对齐；同时，针对热湍流与大气湍流的不同物理特性，设计涵盖静态与动态目标的多样化场景，以构建具有泛化能力的评估基准。事件数据以时间切片形式存储，而非完全异步流，这对后续的数据处理与算法适配提出了额外的技术要求。

常用场景

经典使用场景

在计算成像与计算机视觉领域，湍流效应是长距离或热环境成像中普遍存在的退化因素，严重制约了图像清晰度与细节还原。CTTH和LATH数据集作为首个同步提供事件流与帧图像配对数据的大规模资源，其经典应用场景聚焦于湍流抑制算法的训练与评估。研究者可利用该数据集，开发基于事件相机高时间分辨率特性的新型去湍流模型，通过事件数据捕捉的瞬时亮度变化补偿传统帧图像因湍流导致的几何扭曲与模糊，从而在静态背景与动态物体场景中实现高质量的视觉重建。

衍生相关工作

围绕CTTH和LATH数据集，已衍生出一系列具有影响力的经典研究工作。首当其冲的是其原生论文所提出的EHETM框架，该工作开创性地将事件流以高效方式融入湍流抑制流程，为事件增强的视觉恢复设立了新范式。随后，基于该数据集的异构特征融合、时空联合建模等方向吸引了广泛关注，催生了如基于神经辐射场的湍流场景重建、事件引导的动态去模糊等多个创新分支。这些工作不仅深化了对事件信号在逆问题中作用机理的理解，也推动了事件相机在恶劣成像条件下应用边界的拓展，形成了以多模态湍流数据为核心的新兴研究生态。

数据集最近研究

最新研究方向

在计算成像领域，湍流扰动是影响视觉系统性能的关键挑战，尤其在远距离监控与恶劣环境感知中。近期，CTTH与LATH数据集的发布为湍流抑制研究注入了新的活力，其核心在于融合事件相机与传统帧图像数据，以应对热湍流与大气湍流的复杂退化。这一创新推动了事件增强的高效湍流抑制方法成为前沿热点，相关研究聚焦于利用事件流的高时间分辨率特性，在动态场景与长距离成像中实现更精准的运动补偿与图像复原。该数据集不仅为算法评估提供了严谨的基准，也促进了跨模态学习在真实世界湍流环境中的泛化能力探索，对自动驾驶、远程观测等应用具有深远意义。