SpeakingFaces

speakFaces 是一个公开可用的大型数据集，旨在支持在结合了热、视觉和音频数据流的环境中进行多模式机器学习研究；示例包括人机交互 (HCI)、生物特征认证、识别系统、域转移和语音识别。 speakFaces 由完全对齐的高分辨率热和视觉光谱图像流组成，这些图像流与每个主题的音频记录同步，每个主题说出大约 100 个命令短语。

搜集汇总

背景与挑战

背景概述

SpeakingFaces是一个公开的大型多模态数据集，旨在支持结合热、视觉和音频数据流的多模态机器学习研究，如人机交互和语音识别。它包含对齐的高分辨率热与视觉图像流，并与每个主题的音频记录同步，每个主题说出约100个命令短语，由纳扎尔巴耶夫大学于2021年发布。