issai/OpenThermalAction

OpenThermalAction是一个开源的热成像人体动作视频数据集，包含帧级骨骼注释。该数据集包含来自55名受试者执行28个动作类别的2,488个热成像视频，涵盖单人运动活动和多人日常互动。OpenThermalAction: An Open-Source Dataset of Thermal Human Action Videos with Frame-Level Skeleton Annotations. The dataset comprises 2,488 thermal videos collected from 55 subjects performing 28 action classes, including both single-person sports activities and multi-person daily interactions.

搜集汇总

数据集介绍

构建方式

在热成像人体动作识别领域，公开数据集长期匮乏，尤其是具备精细骨架标注的资源更是稀缺。OpenThermalAction数据集正是在此背景下应运而生，其构建过程严谨而系统。研究团队招募了55名受试者，在精心设计的室内外环境中采集了2,488段热红外视频，涵盖了28种动作类别，包括单人体育活动和多人日常交互。数据采集分两个会话进行：会话一聚焦单人活动，会话二聚焦双人互动。所有视频均被拆分为帧序列，按照受试者或实验分组归档为独立的压缩包，并划分了训练集、验证集、测试集以及野外测试集（test_wild），后者旨在评估模型在真实无约束场景下的泛化能力。

特点

该数据集最显著的特征在于其独特的双模态标注体系。每一段热视频不仅附有动作类别标签，还提供了基于COCO格式的边界框和17个关键点的骨架标注，并进一步整理为标准化的PYSKL格式，直接兼容主流骨架动作识别库。为了支持鲁棒性研究，数据集还提供了多种帧率缩减版本（完整、75%、50%、25%），允许研究者探索帧采样密度对识别性能的影响。此外，数据集按照动作类型将类别编号划分为体育动作（0-14）和日常动作（15-27），为细粒度分析提供了便利。

使用方法

使用该数据集时，研究者可根据任务需求灵活选择数据形态。对于传统的基于RGB热帧的动作识别，可直接读取各会话文件夹下的图像序列，并依据对应的annotations_*.txt文件获取路径与类别映射。对于骨架-based的动作识别，则无需处理原始图像，直接加载pyskl_annotations目录下的.pkl文件即可，该文件默认已按训练、验证、测试划分完毕，且数据可直接输入PYSKL库中定义的模型，如RGBPoseConv3D。此外，研究团队还提供了预训练模型的下载链接，方便研究者进行微调或直接评估，显著降低了入门门槛。

背景与挑战

背景概述

OpenThermalAction数据集由冰岛大学人工智能中心（IS2AI）于近期创建，专注于热红外视频中的人类动作识别。相较于可见光图像，热红外成像不受光照条件限制，在夜间、烟雾或遮挡环境下具有独特优势。该数据集包含来自55名受试者的2,488段热红外视频，覆盖28种动作类别，涵盖单人运动与多人日常交互场景。研究团队创新性地提供了帧级骨架标注（采用COCO格式的17个关键点），并适配PYSKL框架以支持基于骨骼点的动作识别模型训练。作为首个大规模开源热红外动作识别数据集，它填补了该领域的数据空白，为智能监控、安防巡检及人机交互等应用提供了基准评估资源。

当前挑战

当前热红外动作识别面临多重挑战。在领域问题层面，热红外图像缺乏颜色与纹理信息，且人体与环境温差变化导致前景分割困难，传统基于RGB的模型在此类数据上表现不佳。此外，不同场景（如室内外）热辐射模式差异显著，动作类别的类间相似性（如“挥手”与“招手”）增加了特征辨识难度。在数据集构建过程中，挑战同样突出：受试者需在严格控制的环境（如统一背景温度）和自然状态（如自由运动）间平衡；多视角、跨场景采集导致数据分布偏移；骨架标注依赖人工校验，耗时且易出错。这些挑战共同制约着热红外动作识别技术的发展。

常用场景

经典使用场景

OpenThermalAction数据集作为热成像人体动作识别领域的开创性资源，其最经典的使用场景在于驱动基于骨骼点的动作识别算法在热模态下的性能评估与优化。该数据集收录了来自55名受试者的2488段热红外视频，涵盖28种动作类别，并提供了每帧的17个关键点骨架标注，为研究人员构建鲁棒的动作识别模型提供了理想的数据基础，特别是在光照变化剧烈或完全黑暗的环境下，其补充了传统可见光数据集在隐私保护和低光照场景中的不足。

解决学术问题

该数据集有效解决了热红外视频分析中标注数据匮乏这一长期制约学术发展的瓶颈问题，填补了大规模高质量热成像动作识别基准的空白。通过提供统一格式的COCO风格骨架标注及PYSKL格式的预处理文件，它使研究者能够系统性地探索骨骼点时空图卷积网络在热模态中的泛化能力，推动了多模态动作识别理论从可见光向红外领域的延伸，并促进了非接触式人体行为理解在边缘计算环境下的算法创新。

衍生相关工作

围绕该数据集衍生了一系列经典工作，包括基于PYSKL框架的RGB+热红外双流轻量化动作识别模型，以及面向帧率降低信号的时间维稀疏采样策略研究。研究者利用其提供的不同帧率版本（完整、75%、50%、25%）数据集，系统分析了骨架信息密度对识别准确率的影响，开创性地提出了跨模态知识蒸馏方法，将可见光预训练模型的知识迁移至热红外骨架网络，相关成果已在ISPRS、Sensors等期刊发表，并开源了预训练权重库以促进学术社区的可复现研究。