T-FAKE dataset

我们训练的标志点检测器基于我们自定义的T-FAKE数据集，该数据集由合成热图像组成。数据集生成了温暖和寒冷两种条件下的图像。可以从提供的链接下载原始彩色图像、稀疏注释和分割掩码。数据集分为小样本（100张图像）、中等样本（1,000张图像）和完整数据集（100,000张图像），并提供了密集注释。

The landmark detector we trained is based on our custom T-FAKE dataset, which comprises synthetic thermal images. The dataset includes images generated under both warm and cold conditions. Raw color images, sparse annotations and segmentation masks can be downloaded via the provided link. The dataset is split into three subsets: the few-shot subset (100 images), medium-scale subset (1,000 images) and full-scale dataset (100,000 images), with dense annotations provided.

原始信息汇总

数据集概述

数据集名称

Thermal-facial-alignment network (TFAN) 训练数据集 (T-FAKE)

数据集描述

T-FAKE 是一个用于训练热成像面部关键点检测模型（TFAN）的自定义合成热成像图像数据集。该数据集包含为温暖和寒冷条件生成的合成热成像图像。

数据集内容与结构

数据集包含合成热成像图像、原始彩色图像、稀疏标注和分割掩码。

• 图像数量：完整数据集包含 100,000 张图像。
• 条件变体：数据集为“温暖”和“寒冷”两种条件分别生成。
• 数据样本规模：
  • 小样本：100 张图像。
  • 中样本：1,000 张图像。
  • 完整样本：100,000 张图像。
• 标注类型：
  • 稀疏标注（随图像提供）。
  • 密集标注（单独提供）。

数据获取方式

原始彩色图像、稀疏标注和分割掩码需通过 FaceSynthetics 仓库 中的链接下载。 合成热成像数据集文件通过 Google Drive 链接提供：

• 小样本 (100张)：
  • 温暖条件：https://drive.google.com/file/d/1-Y40_wqVV5WM1swEpjFTJiB8sGdZtQwR/view?usp=sharing
  • 寒冷条件：https://drive.google.com/file/d/1-_-RHg7ZDzFFtoyeXJsyrdtgkcnJ3FMR/view?usp=sharing
• 中样本 (1,000张)：
  • 温暖条件：https://drive.google.com/file/d/1-NcsaNa6dbfmQ0l6UjmwZSJWDsUFM4vW/view?usp=sharing
  • 寒冷条件：https://drive.google.com/file/d/1-PqPR86GDj5LB_6PZKlek6o6FNbkf7Fo/view?usp=sharing
• 完整数据集 (100,000张)：
  • 温暖条件：https://drive.google.com/file/d/1-3-OC-VYL14uyLA4Vi9DpwDlkauuNh7K/view?usp=sharing
  • 寒冷条件：https://drive.google.com/file/d/1wh25Yi9sT-0j6qXz0JlHUtIIbLAYUnrZ/view?usp=sharing
• 密集标注：https://drive.google.com/file/d/1-lMYaok0xbfQyBTxj6dcuxT1iryU7TOs/view?usp=sharing

预训练模型

热成像转换模型以及关键点检测模型可从以下地址下载：https://drive.google.com/drive/folders/1-ppKS4xuBY-EbmGCkvKTLYMXHA3lK8R8?usp=sharing

许可信息

本关键点检测方法及训练数据集基于 Attribution-NonCommercial-ShareAlike 4.0 International 许可证授权，因其衍生自 FaceSynthetics 数据集。

引用信息

如果使用此代码或数据集，请引用以下论文：

• 主要论文：Flotho, P., Piening, M., Kukleva, A. and Steidl, G., “T-FAKE: Synthesizing Thermal Images for Facial Landmarking,” Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR), 2025. CVF Open Access
• 关联工作：本仓库中使用的热成像人脸边界框检测基于 TFW 模型，请同时引用：Kuzdeuov, A., Aubakirova, D., Koishigarina, D., & Varol, H. A. (2022). TFW: Annotated Thermal Faces in the Wild Dataset. IEEE Transactions on Information Forensics and Security, 17, 2084–2094. https://doi.org/10.1109/TIFS.2022.3177949

搜集汇总

数据集介绍

构建方式

在热成像人脸分析领域，高质量标注数据的稀缺性长期制约着相关算法的发展。T-FAKE数据集通过创新的合成方法应对这一挑战，其构建过程始于微软的FaceSynthetics数据集所提供的原始彩色图像、稀疏标注及分割掩码。研究团队以此为基础，运用先进的图像合成技术，模拟了温暖与寒冷两种典型环境条件，生成了对应的合成热成像人脸图像。最终，数据集包含了共计十万张图像，并辅以密集的面部关键点标注，为热成像人脸关键点检测任务提供了规模可观且标注精细的训练资源。

特点

该数据集的核心特征在于其完全由合成数据构成，巧妙地规避了真实热成像数据采集难度大、隐私敏感且标注成本高昂的固有难题。数据集系统地模拟了温暖与寒冷两种热力学条件，这有助于提升模型在不同环境温度下的泛化能力与鲁棒性。其规模达到了十万张图像，并提供了密集的关键点标注，为训练深度神经网络提供了充足的数据支撑。此外，数据集衍生自公认的FaceSynthetics数据集，确保了源数据的多样性与质量，为合成热成像的逼真度与实用性奠定了坚实基础。

使用方法

为便于研究者使用，数据集按规模提供了灵活的分级下载选项，包括百张样本、千张样本及完整数据集，并区分了温暖与寒冷条件。用户可通过提供的公开链接获取图像与标注文件。在算法应用层面，配套发布的Thermal-facial-alignment network (TFAN)模型可直接用于热成像人脸关键点检测。通过安装相应的Python包，用户可便捷地加载预训练模型，对输入的单通道灰度热成像图像进行处理，快速获得高精度的人脸关键点坐标及其置信度，极大地简化了热成像人脸分析的研究与开发流程。

背景与挑战

背景概述

热成像人脸对齐技术作为计算机视觉领域的重要分支，在低光照、隐私保护及全天候监控等场景中展现出独特价值。T-FAKE数据集由Philipp Flotho等研究人员于2025年构建，旨在解决热成像面部关键点检测中标注数据稀缺的核心问题。该数据集基于微软FaceSynthetics数据集生成合成热成像图像，包含冷暖两种温度条件下的十万张样本，为热成像人脸分析提供了标准化基准。其通过合成数据驱动的方法，显著降低了真实热成像数据标注成本，推动了热成像视觉模型的可扩展性研究，对安防、医疗及人机交互等领域产生深远影响。

当前挑战

热成像人脸关键点检测面临领域数据分布差异的挑战，真实热成像图像受环境温度、传感器噪声及个体生理特征影响，导致模型泛化能力受限。T-FAKE数据集构建过程中需克服合成数据与真实热成像间的域差距问题，包括纹理细节缺失、温度分布模拟偏差等。同时，大规模合成数据的生成需要平衡计算效率与物理真实性，而密集关键点标注的自动化流程也需解决合成图像与原始标注的空间对齐精度难题。这些挑战共同制约着热成像人脸分析技术向实际应用场景的迁移。

常用场景

经典使用场景

在计算机视觉领域，热成像人脸分析因其在低光照或隐私敏感场景下的独特优势而备受关注。T-FAKE数据集通过合成热成像人脸图像，为热成像人脸关键点检测任务提供了大规模、高质量的训练数据。该数据集最经典的使用场景是训练热成像人脸对齐模型，例如Thermal-facial-alignment network (TFAN)，这些模型能够从热成像图像中精准定位人脸的关键点，为后续的人脸识别、表情分析等任务奠定基础。

解决学术问题

热成像人脸关键点检测研究长期面临真实标注数据稀缺、采集成本高昂的挑战。T-FAKE数据集通过生成合成热成像图像及其密集的关键点标注，有效解决了训练数据不足的核心瓶颈。它不仅为模型训练提供了丰富样本，还通过模拟‘温暖’和‘寒冷’两种条件，增强了模型在不同热辐射环境下的泛化能力，显著推动了无监督或弱监督学习在热成像视觉领域的应用进展。

衍生相关工作

T-FAKE数据集的构建与发布，直接催生了Thermal-facial-alignment network (TFAN)这一经典工作，该网络成为热成像人脸关键点检测的重要基准工具。同时，该数据集继承并拓展了微软FaceSynthetics数据集的思想，将合成数据生成技术成功迁移至热成像模态。相关研究也与TFW (Thermal Faces in the Wild) 等真实热成像数据集的工作形成互补，共同构成了从合成到真实、从检测到对齐的完整热成像人脸分析研究生态。