Charlotte-ThermalFace

该数据集包含大约10,000张来自10位受试者的红外热成像人脸图片，每张图片都附有详细的环境属性标注，如空气温度、相对湿度以及主观热感。在规模上，训练集包含了10个类别的10,376张图片，测试集则包含了5个类别的1,306张图片。该数据集的任务旨在进行人脸识别和分类。

This dataset contains approximately 10,000 infrared thermal imaging facial images from 10 subjects, with detailed environmental attribute annotations for each image, including air temperature, relative humidity, and subjective thermal sensation. In terms of scale, the training set consists of 10,376 images across 10 categories, while the test set contains 1,306 images across 5 categories. The task of this dataset is designed for facial recognition and classification.

搜集汇总

数据集介绍

构建方式

Charlotte-ThermalFace数据集由北卡罗来纳大学夏洛特分校的研究团队构建，旨在填补热红外面部图像领域公共数据集的空白。数据采集于2021年6月，涵盖10名健康受试者（5男5女），在受控室内环境中进行。每位受试者需经历至少四次不同环境温度（20.5°C至26.5°C，每1.5°C为一个梯度）的采集会话，每次会话中受试者被安排于10个相对距离（1米至6.6米）和25种头部姿态下进行拍摄。采集前，受试者需适应环境60分钟以确保代谢稳定。数据由FLIR A700热像仪以16位辐射原始格式记录，同时利用HOBO Pro v2传感器记录环境温度、相对湿度和空气流速，并通过Google表单收集受试者的主观热感觉。所有图像均经人工标注72个面部关键点，最终形成约10,000张热红外图像的数据集。

特点

该数据集的核心特点在于其多维度的环境与物理变量标注，使其在现有热面部数据集中独树一帜。首先，它首次公开提供了受控环境温度变化下的面部热图像，并同步记录了环境温度、相对湿度、空气流速及受试者主观热感觉，为研究环境因素对面部热成像的影响提供了珍贵资源。其次，数据集包含从1米到6.6米的10种不同拍摄距离，导致面部分辨率显著变化，这为评估距离对热成像精度的影响提供了独特视角。此外，所有图像均以16位辐射原始格式发布，保留了每个像素的热辐射值，避免了传统8位转换中的温度信息丢失。最后，全面的72点面部关键点人工标注，为面部对齐、特征提取及算法训练提供了高精度基准。

使用方法

该数据集适用于多种热面部研究场景，用户可通过GitHub仓库（https://github.com/TeCSAR-UNCC/UNCC-ThermalFace）免费获取。使用时，用户可利用16位原始图像中的像素值，依据公式（像素值/热线性分辨率 - 273.15K）精确计算每个像素的摄氏温度。数据集提供了完整的标注文件，包括面部关键点坐标、环境温度、湿度、空气流速、拍摄距离及受试者热感觉，便于直接用于训练和评估热面部识别、表情分析、热舒适预测等深度学习模型。由于图像分辨率随距离变化，研究者可专门测试算法在低分辨率下的鲁棒性。此外，数据集可用于研究环境温度与面部区域温度的相关性，如鼻子区域对环境温度敏感而额头区域相对稳定，为生理监测和智能建筑控制提供数据支持。

背景与挑战

背景概述

面部热成像技术作为红外热成像领域的重要研究方向，在医疗监测、安防监控及环境感知等场景中展现出广阔的应用前景。然而，相较于可见光频谱中丰富的人脸数据集，热红外人脸图像的公开资源极为匮乏，严重制约了该领域的算法发展与跨学科研究。为弥补这一空白，北卡罗来纳大学夏洛特分校的Roshanak Ashrafi、Mona Azarbayjani及Hamed Tabkhi于2022年共同发布了Charlotte-ThermalFace数据集。该数据集包含逾万张红外热图像，覆盖多种环境温度（20.5°C至26.5°C）、十档相机距离（1米至6.6米）及25种头部姿态，并首次公开标注了受试者的主观热感觉。数据集以16位原始辐射格式存储，保留了像素级温度信息，为面部热成像研究提供了高精度、多模态的基准资源。

当前挑战

Charlotte-ThermalFace数据集所应对的核心挑战包括三个方面。首先，现有热成像数据集普遍缺乏对环境变量的系统控制，多数仅记录单一温度或距离条件，无法支撑环境因素对面部温度影响的量化分析；而该数据集通过调控室温、湿度与气流，首次实现了受控热条件下的多维度数据采集。其次，构建过程中需克服多源异构数据的同步标注难题，包括在十种距离下对72个面部关键点进行人工标定，并需协同记录环境传感器数据与受试者主观反馈，这对实验流程的标准化与数据质量的一致性提出了极高要求。最后，数据集以16位原始格式发布，虽保留了完整辐射信息，但也带来了存储与处理的挑战，需设计高效的数据解析与温度反演算法，以支持后续的深度学习模型训练与跨模态融合研究。

常用场景

经典使用场景

Charlotte-ThermalFace数据集的核心经典用途在于为热红外面部图像分析提供多维度、高保真的基准资源。该数据集收录了超过一万张在四种环境温度、十种拍摄距离以及二十五种头部姿态下采集的16位原始热成像数据，并配有72个面部关键点的手动标注。研究者可借助这一丰富的数据集，开展热红外图像中的人脸检测与识别任务，尤其适用于评估算法在不同环境条件、距离变化和姿态偏移下的鲁棒性与泛化能力。其原始辐射度格式保留了每个像素的温度信息，使得温度敏感型分析成为可能，从而为热红外人脸研究奠定了坚实的数据基础。

衍生相关工作

Charlotte-ThermalFace数据集的发布催生了一系列具有影响力的后续研究工作。基于其丰富的环境参数与面部热感标注，研究者开发了多种基于深度学习的面部热舒适预测算法，这些方法利用卷积神经网络从热图像中提取温度特征，实现了对个体热感觉的高精度分类。在面部关键点检测方面，该数据集为训练和验证跨模态（如RGB与热成像对齐）的关键点定位模型提供了黄金标准。此外，该数据集还启发了多模态融合研究，例如将热红外与可见光图像结合以提升人脸识别在极端光照条件下的鲁棒性。这些衍生工作不仅验证了数据集的价值，也进一步拓展了热红外面部分析的技术边界。

数据集最近研究

最新研究方向

Charlotte-ThermalFace数据集的提出，标志着热红外面部成像领域在环境多样性、数据完整性和应用深度上迈出了关键一步。该数据集聚焦于当前研究中的核心瓶颈——公共热面部数据集在受试者距离、环境温度变化及面部关键点标注上的匮乏，通过收录超过10,000张在不同热条件、多距离及多种头部姿态下的16位原始热红外图像，并首次公开了每帧对应的环境参数与受试者主观热感觉，为智能建筑中的非侵入式热舒适预测、疫情期间的发热筛查以及多模态人脸识别等前沿方向提供了高质量的训练与验证基础。其独特的全手动72点面部关键点标注和可变分辨率特性，直接推动了远距离、低分辨率场景下热人脸检测与对齐算法的鲁棒性研究，而受试者个体在相同环境下的皮肤温度差异（如因出汗导致的额温反常下降）则揭示了热成像在个性化健康监测中的巨大潜力，为构建更精准、更具适应性的环境控制系统和医疗诊断工具奠定了数据基石。

相关研究论文

• A Novel Fully Annotated Thermal Infrared Face Dataset: Recorded in Various Environment Conditions and Distances From The Camera

  北卡罗来纳大学夏洛特分校 · 2022年