Charlotte-ThermalFace

Charlotte-ThermalFace数据集由北卡罗来纳大学夏洛特分校创建，包含超过10000张在不同环境条件和距离下拍摄的热红外面部图像。该数据集完全标注了面部特征点、环境温度、相对湿度、室内风速、与相机的距离以及拍摄时的个体热感觉。这是首个公开的包含不同热条件下个体热感觉标注的热红外面部数据集，也是少数以原始16位格式提供的数据集之一。数据集的应用领域包括医学、监控和环境监测，旨在解决热红外面部图像研究中的数据缺乏问题。

The Charlotte-ThermalFace dataset was created by the University of North Carolina at Charlotte. It includes over 10,000 thermal infrared facial images captured under diverse environmental conditions and distances. This dataset is fully annotated with facial landmarks, ambient temperature, relative humidity, indoor wind speed, distance to the camera, and individual thermal sensation at the time of image acquisition. It is the first publicly available thermal infrared facial dataset with annotations of individual thermal sensation under different thermal conditions, and one of the few datasets provided in raw 16-bit format. Its application areas include medicine, surveillance and environmental monitoring, and it aims to address the data scarcity issue in thermal infrared facial image research.

搜集汇总

数据集介绍

构建方式

在面部热成像研究领域，数据采集的多样性与精确性对推动算法发展至关重要。Charlotte-ThermalFace数据集的构建过程体现了对现有研究空白的系统性弥补。该数据集通过FLIR A700热成像相机采集了超过10,000张16位原始格式的红外热图像，覆盖了10名健康受试者在四种不同环境温度（20.5°C至26.5°C）下的面部热状态。采集过程中，受试者与相机的距离在1米至6.6米之间变化，并包含了25种不同的头部姿态，确保了数据在空间分辨率和姿态多样性上的丰富性。每张图像均同步记录了环境温度、相对湿度、风速及受试者的主观热感觉，同时通过人工标注了72个面部关键点，为后续的精细化分析提供了可靠基础。

特点

Charlotte-ThermalFace数据集在面部热成像领域展现出多方面的独特优势。其核心特点在于首次公开提供了受试者在不同热环境下的主观热感觉标注，这为热舒适度与生理状态关联研究开辟了新路径。数据集以16位原始热辐射数据格式保存，完整保留了每个像素的温度信息，避免了常见8位转换导致的数据损失。此外，数据涵盖了从近距离到远距离的多尺度分辨率变化，以及受试者在不同环境温度下的热响应差异，为算法在真实场景中的鲁棒性评估提供了关键支持。面部关键点的精细标注进一步增强了数据集在特征定位与对齐任务中的实用性。

使用方法

该数据集适用于多个研究方向，包括非接触式生理监测、热舒适度预测及跨模态人脸识别。研究者可利用其16位热辐射数据直接提取面部各区域（如额头、鼻部、脸颊）的精确温度值，结合环境参数与热感觉标签，建立热舒适度评估模型。在算法开发方面，数据集中不同距离与姿态下的多分辨率图像可用于训练和测试面部检测、关键点定位及身份识别模型的泛化能力。数据集的标注信息支持端到端的监督学习，也可用于无监督或半监督方法的预训练与验证。通过公开的GitHub仓库，研究者可便捷获取数据与标注，推动热成像领域的前沿探索。

背景与挑战

背景概述

热成像技术的兴起为无接触数据采集提供了卓越机遇，尤其在面部热成像领域，其在医疗诊断、环境监测及智能建筑等应用中展现出巨大潜力。然而，与可见光面部图像相比，公开可用的热成像数据集严重匮乏，制约了该领域的研究进展。在此背景下，北卡罗来纳大学夏洛特分校的研究团队于2022年推出了Charlotte-ThermalFace数据集。该数据集包含超过一万张在不同热环境条件、多种拍摄距离及头部姿态下采集的红外热图像，并首次在原始16位格式中提供了全面的环境参数与面部关键点标注。其核心研究目标在于解决现有热成像数据在环境温度控制、距离变化及标注完整性方面的不足，为热舒适度分析、身份识别等跨学科研究提供了高质量基准数据，显著推动了热成像技术在真实场景中的应用深度。

当前挑战

在面部热成像领域，核心挑战在于如何从热图像中准确提取生理信息以支持医疗诊断、情绪识别及热舒适度评估等任务。现有数据集常因分辨率低、环境参数缺失或标注不完整而难以满足高精度分析需求。具体而言，构建Charlotte-ThermalFace数据集时面临多重挑战：其一，需在严格控制的环境温度梯度下同步记录热图像与多模态传感器数据，确保数据在变温条件下的科学一致性；其二，需设计多距离采集方案以模拟真实场景中热像仪的不同部署位置，同时解决远距离拍摄导致的面部分辨率下降问题；其三，手动标注72个面部关键点的工作量巨大，且需在热图像与可见光图像间进行精确配准以提升标注可靠性。这些挑战共同凸显了构建高质量、多变量热成像数据集的复杂性与必要性。

常用场景

经典使用场景

在红外热成像领域，Charlotte-ThermalFace数据集为面部热图分析提供了标准化评估平台。该数据集最经典的使用场景是训练和验证面部热图识别算法，特别是在变化的环境温度、拍摄距离和头部姿态条件下。研究者利用其丰富的标注信息，包括环境温度、相对湿度、面部关键点坐标以及受试者的热感觉反馈，能够系统性地探究热成像特征与生理状态之间的关联。这种多变量控制的设计，使得该数据集成为评估算法鲁棒性和泛化能力的理想基准。

衍生相关工作

基于Charlotte-ThermalFace数据集，已衍生出多个方向的重要研究工作。在热舒适度预测方面，研究者利用其丰富的环境参数和热感觉标注，开发了基于深度学习的热感觉分类模型，推动了非侵入式舒适度监测技术的发展。在面部关键点检测领域，该数据集的高质量手动标注为热成像面部对齐算法提供了宝贵的训练数据，促进了热图与可见光图像的对齐融合研究。此外，在跨模态学习方面，该数据集启发了热成像与可见光图像的联合分析方法，为多光谱人脸识别和情绪检测提供了新的研究思路。这些工作共同推动了热成像技术在计算机视觉和生物医学工程领域的深入应用。

数据集最近研究

最新研究方向

随着红外热成像技术在医疗监测、智能建筑和安防领域的广泛应用，Charlotte-ThermalFace数据集凭借其独特的环境温度、距离变化和16位原始热数据格式，为面部热成像研究开辟了新的前沿方向。当前研究聚焦于利用该数据集的多维度标注信息，探索非侵入式热舒适度预测模型，通过结合环境温度、相对湿度和面部皮肤温度的相关性分析，提升智能建筑中个性化环境调控的精度。同时，数据集中的多距离热成像样本为远距离面部检测与识别算法提供了关键训练资源，尤其在低分辨率热图像下的特征提取与鲁棒性优化方面展现出重要潜力。此外，结合面部关键点标注与热感标注，该数据集正推动跨模态情感识别与生理状态监测的研究，为公共卫生筛查和个性化医疗应用提供了可靠的数据基础。

相关研究论文

• A Novel Fully Annotated Thermal Infrared Face Dataset: Recorded in Various Environment Conditions and Distances From The Camera

  北卡罗来纳大学夏洛特分校 · 2022年