多模态人类意图理解MOSEI数据集

对于MOSEI数据集，在自动数据采集过程中，使用人脸检测技术分析来自互联网的视频，以确保每帧中都包含一名发言者，从而确认视频是独白形式。通过排除含有移动摄像头的场景，保证了视频中的演讲者始终专注于摄像头。数据集选择了在线视频中250个常见主题作为采集的种子，并严格限制每个频道的视频数量不超过10个。此外，视频必须由上传者提供手动且标点正确的转录文本。最终，视频池包含了5000个视频，这些视频在三个月内由14名专家评审员手动检查视频、音频和文字记录的质量。评审员还对每个视频进行了性别注释，并确认每个视频都是有效的独白。经过人工质检后，最终数据集保留了3228个视频。此外，数据集还通过面部特征提取置信度和强制对齐置信度，自动对视频和转录文本的质量进行了进一步检查。同时，利用评审员提供的数据，数据集中的性别分布被平衡为57%的男性和43%的女性。