Passau-Spontaneous Football Coach Humour (Passau-SFCH)

Passau-SFCH数据集是由奥格斯堡大学的研究团队创建的，专注于自发幽默的多模态预测。该数据集包含约11小时的录音，主要来源于德国足球甲级联赛教练的非脚本化新闻发布会。数据集被标注为幽默及其维度（情感和方向），并根据Martin的幽默风格问卷进行标注。该数据集旨在解决现有幽默检测方法基于脚本数据，不适用于‘现实世界’应用的问题。研究通过使用预训练的Transformer、卷积神经网络和专家设计的特征进行了一系列实验，分析了文本、音频和视频在自发幽默识别中的性能，并探讨了它们的互补性。研究发现，面部表情在自动幽默分析中最为有前景，而幽默方向最好通过基于文本的特征来建模。数据集的应用领域包括人机交互的自然化以及人工智能的人性化。The Passau-SFCH dataset, created by a research team from the University of Augsburg, focuses on multimodal prediction of spontaneous humor. This dataset contains approximately 11 hours of audio recordings, primarily sourced from unscripted press conferences held by coaches of the German Bundesliga. The dataset is annotated for humor and its dimensions (affect and direction), and additionally labeled using Martin's Humor Style Questionnaire. This dataset aims to address the limitation that existing humor detection methods rely on scripted data and thus are not suitable for 'real-world' applications. A series of experiments were conducted using pre-trained Transformers, Convolutional Neural Networks (CNNs), and expert-designed features, which analyzed the performance of text, audio, and video modalities in spontaneous humor recognition and explored their complementarity. The study found that facial expressions are the most promising modality for automated humor analysis, while humor direction is best modeled using text-based features. The application scenarios of this dataset include the naturalization of human-computer interaction and the humanization of artificial intelligence.

搜集汇总

数据集介绍

构建方式

该数据集的构建源于对自然情境下幽默自动识别需求的深刻洞察。研究者从德国足球甲级联赛2017/2018赛季前13个比赛日中，收集了10位主教练的59场赛前新闻发布会视频，总计约11小时。为排除观众反应干扰，仅保留教练发言片段。转录环节采用XLSR-Wav2Vec2模型自动生成后经人工校正，并借助Montreal Forced Aligner实现词级时间对齐。标注体系基于Martin的幽默风格问卷，由9名受过训练的标注员通过DARMA软件以2赫兹频率对幽默的情感倾向和指向维度进行连续标注，最终通过基于一致性加权的评估者加权估计方法融合生成黄金标准标签。

特点

该数据集的核心突破在于其自发性和精细的标注层次。与传统依赖脚本化情境（如情景喜剧或TED演讲）的数据集不同，本数据集取材于即兴问答的新闻发布会，更贴近真实交流中的幽默表达。其标注不仅涵盖幽默是否存在，更首次引入幽默风格问卷的两个维度——情感倾向（积极与消极）和指向（自我与他人），从而捕捉幽默的多面性。数据呈现高度稀疏性，仅6.02%的片段被标注为幽默，且不同教练的幽默风格差异显著，凸显了幽默的个体性与情境依赖性。此外，数据集包含文本、音频和视频三种模态，为多模态分析提供了丰富基础。

使用方法

该数据集适用于多模态幽默识别与风格分类任务。研究者建议采用留一受试者交叉验证策略，以评估模型对未见个体的泛化能力。对于幽默检测，推荐使用门控循环单元处理时序特征，并通过加权后融合技术整合文本、音频和视频模态的预测结果，其中视频模态（尤其是FaRL特征）表现最优。对于幽默风格中的情感倾向与指向分类，支持向量机在仅考虑幽默片段的条件下更为稳健，文本特征在指向预测中占据主导地位。实验表明，决策级融合能有效提升性能，而个性化策略是未来提升模型公平性的关键方向。

背景与挑战

背景概述

幽默作为人类社会行为、情感与认知的核心要素，在自然的人机交互与人工智能人性化进程中扮演着关键角色。然而，现有幽默检测方法多依赖于脚本化数据（如影视剧集或脱口秀），难以适应真实场景中的自发性幽默识别。为填补这一空白，Lukas Christ、Shahin Amiriparian等来自奥格斯堡大学、帕绍大学及帝国理工学院的研究人员于2023年构建了Passau-Spontaneous Football Coach Humour（Passau-SFCH）数据集。该数据集基于德国足球甲级联赛教练在赛前新闻发布会中的非脚本化对话，涵盖约11小时的多模态记录（音频、视频、文本），并依据Martin提出的幽默风格问卷对幽默的存在性、情感倾向及指向性进行连续标注。作为首个聚焦自发性幽默的多模态德语数据集，Passau-SFCH为情感计算与多模态机器学习领域提供了独特的基准资源，推动了幽默识别从受控实验向现实应用的跨越。

当前挑战

该数据集面临的核心挑战包括：其一，幽默识别的领域难题——自发性幽默具有高度个体化与情境依赖性，不同教练的幽默风格差异显著，且幽默事件在数据中仅占6.02%，呈现极端稀疏性，导致模型难以从非幽默片段中有效分离幽默信号；其二，构建过程中的标注挑战——9名标注员对幽默情感与指向的克朗巴哈α系数仅为0.19左右，表明幽默感知的主观性与语境复杂性，需采用加权融合策略（如评估者加权估计法）生成金标准标签；其三，多模态融合的复杂性——视频模态在幽默检测中表现最优（AUC达0.90），而文本模态对幽默指向预测更有效，但不同模态间的互补性在个体层面波动显著，简单的决策级融合虽能提升性能，却难以应对个性化差异；其四，数据集的局限性——样本仅包含10名男性教练，文化背景与职业同质性高，且新闻发布会场景仍属半脚本化情境，限制了模型向更广阔真实场景的泛化能力。

常用场景

经典使用场景

在情感计算与多模态交互领域，Passau-SFCH数据集被广泛用于自发式幽默检测任务。该数据集基于德国足球教练新闻发布会中的真实非脚本对话，提供了约11小时的多模态记录（文本、音频、视频），并依据Martin的幽默风格问卷对幽默的存在、情感倾向（正面/负面）及方向（自我/他人导向）进行了细致标注。研究者常利用该数据集训练和评估深度学习模型（如Transformer、卷积神经网络）在自发语境下的幽默识别能力，尤其关注面部表情、语音韵律和语义内容对幽默感知的贡献。其经典用法在于推动幽默计算从剧本化场景向真实世界交互的迁移，为更自然的人机对话系统奠定基础。

衍生相关工作

Passau-SFCH数据集已衍生出一系列具有影响力的研究工作。在2022年多模态情感分析挑战赛（MuSe 2022）中，该数据集被用于“MUSE-HUMOR”子任务，参赛者提出了多种基于Transformer架构的融合方案，如混合多模态特征提取与跨模态注意力机制，验证了决策级融合在幽默检测中的有效性。后续研究进一步探索了个性化策略，如基于教练ID的迁移学习与元学习，以缓解跨个体泛化性能差异。此外，该数据集启发了对幽默方向（自我/他人导向）的文本语义分析，表明ELECTRA等预训练语言模型在捕捉幽默指向性上优于视觉和音频特征。这些衍生工作不仅推动了多模态情感分析的技术进步，也促进了心理学中幽默风格问卷在计算模型中的量化应用。

数据集最近研究

最新研究方向

在情感计算与人机交互领域，幽默的自动理解正成为推动人工智能自然化与人性化的关键前沿。Passau-SFCH数据集基于德国足球甲级联赛教练的即兴新闻发布会构建，突破性地面向非脚本化、自发性幽默场景，弥补了现有数据集多依赖舞台化或脚本化语料的不足。该数据集不仅标注了幽默是否存在，还依据Martin的幽默风格问卷对其情感倾向与指向维度进行了细粒度编码，为多模态幽默预测提供了丰富的研究基础。当前前沿研究集中于利用预训练Transformer、卷积神经网络及手工特征，在文本、音频与视频三模态上探索幽默识别及其情感与指向的自动建模，实验表明面部表情对幽默情感预测最具潜力，而文本特征在幽默指向判别中表现最优。这一工作不仅推动了幽默计算从人为设计向真实场景的跃迁，也为个性化、多模态情感理解系统的构建奠定了关键数据与方法论基石。

相关研究论文

• Towards Multimodal Prediction of Spontaneous Humour: A Novel Dataset and First Results

  奥格斯堡大学 · 2023年