跨领域视听欺骗检测基准

本研究推出了首个跨领域视听欺骗检测基准，旨在评估和提升AI模型在真实世界场景中的欺骗检测能力。该基准整合了多种公开数据集，如Real Life Trials、Bag of Lies、MU3D和Box of Lies，涵盖了从法庭审判到实验室控制的多样化欺骗样本。通过采用广泛接受的视听特征和多种网络架构，该基准能够比较单对单和多对单域泛化性能，并探索了域同时、域交替和域逐一三种域采样策略。此外，研究还提出了Attention-Mixer融合方法，以有效整合视听信息，增强模型性能。此基准不仅推动了视听欺骗检测技术的研究，也为未来开发更可靠的欺骗检测系统提供了重要工具。

This study presents the first cross-domain audio-visual deception detection benchmark, designed to evaluate and improve the deception detection capabilities of AI models in real-world scenarios. This benchmark integrates multiple public datasets including Real Life Trials, Bag of Lies, MU3D and Box of Lies, covering diverse deception samples ranging from courtroom trials to laboratory-controlled environments. By adopting widely recognized audio-visual features and various network architectures, the benchmark enables comparison of one-to-one and multi-to-one domain generalization performance, and explores three domain sampling strategies: simultaneous domain, alternating domain and leave-one-domain-out. Furthermore, this study proposes an Attention-Mixer fusion method to effectively integrate audio-visual information and enhance model performance. This benchmark not only promotes the research of audio-visual deception detection technologies, but also provides a critical tool for the future development of more reliable deception detection systems.

搜集汇总

数据集介绍

构建方式

该基准数据集通过整合四个公开可用的欺骗检测数据集构建而成，涵盖法庭审判、实验室控制场景和游戏节目等多种领域。具体而言，数据集包含Real Life Trials、Bag of Lies、MU3D和Box of Lies，每个数据集均被视作独立的域。构建过程中，研究者对原始数据进行了预处理，包括过滤损坏的视频片段、统一采样64帧面部图像，并利用OpenFace、MTCNN和OpenSmile等工具提取了面部动作单元、注视特征、情感特征以及梅尔频谱图等多模态特征。这种构建方式旨在模拟真实世界中存在的领域偏移，为评估模型的跨领域泛化能力提供坚实基础。

特点

该数据集的核心特点在于其显著的跨领域多样性，涵盖了从高度控制的实验室环境到充满噪声的真实世界场景等多种数据分布。这种多样性导致了视觉模态中分辨率、光照和姿态的差异，以及音频模态中音高、响度和噪声的明显领域偏移。数据集不仅提供了丰富的多模态特征，包括面部帧、行为特征和音频特征，还特别设计了单域到单域以及多域到单域两种泛化评估范式。此外，研究者引入了三种领域采样策略——域同步、域交替和逐域训练，以深入探究不同训练方式对模型泛化性能的影响。

使用方法

使用该数据集时，研究者首先需按照既定协议划分训练域和测试域，通常将Box of Lies数据集仅用于测试。模型训练可采用单域到单域或多域到单域的泛化设置。对于多域训练，推荐尝试域同步、域交替或逐域等采样策略来优化性能。特征提取阶段，应利用预训练的编码器处理面部图像、行为特征和音频频谱。为了提升性能，可采用提出的Attention-Mixer等融合方法，在特征层或决策层整合多模态信息。最终，模型在未见过的测试域上进行评估，以二进制分类准确率作为主要性能指标，从而全面衡量其跨领域欺骗检测的泛化能力。

背景与挑战

背景概述

跨领域视听欺骗检测基准由南洋理工大学ROSE实验室的研究团队于2024年提出，旨在解决自动化欺骗检测领域长期存在的模型泛化难题。该研究认识到，尽管基于音频和视觉模态的多模态特征在特定数据集上已展现出超越人类观察者的潜力，但现有方法在不同场景间的可迁移性尚未得到充分探索。该基准整合了法庭审判、实验室环境及游戏节目等多种真实与受控场景下的公开数据集，通过系统评估单域到单域、多域到单域的泛化性能，为构建适应现实世界复杂性的欺骗检测系统提供了关键评估工具，推动了多模态人工智能在司法、安防及医疗等高风险领域的可靠应用。

当前挑战

该数据集致力于应对视听欺骗检测中的领域泛化核心挑战。具体而言，其解决的领域问题在于，现有模型在跨场景（如从实验室环境迁移至真实法庭）时，因音频和视觉模态中存在显著的领域偏移（如分辨率、光照、姿态、音高、响度及噪声差异）而导致性能急剧下降。在构建过程中，挑战主要体现在数据整合与标准化方面：需从异构的公开数据源中筛选并清洗有效样本，处理原始数据中视听不匹配、质量参差及标注不一致等问题；同时，设计公平的评估协议以杜绝领域信息泄露，并需开发如注意力混合融合等新型方法，以有效融合多模态特征来缓解领域偏移，从而确保基准评估的严谨性与实用性。

常用场景

经典使用场景

在跨领域视听欺骗检测研究中，该数据集常被用于评估多模态模型的泛化能力。通过整合来自法庭审判、实验室场景及游戏节目等不同领域的公开数据集，研究者能够系统性地测试模型在单域到单域、多域到单域等设置下的性能表现。这一经典场景不仅涵盖了音频与视觉特征的提取与融合，还引入了多种域采样策略，如域同步、域交替和逐域训练，为模型在复杂现实环境中的适应性提供了严谨的基准验证。

解决学术问题

该数据集有效解决了视听欺骗检测中模型泛化能力不足的核心学术问题。传统方法往往局限于特定领域，难以应对不同场景间的域偏移，如光照、分辨率或音频噪声的差异。通过构建跨域基准，该工作揭示了多模态特征融合在缓解域偏移方面的潜力，并提出了注意力混合融合方法以提升性能。这不仅推动了欺骗检测领域向更稳健、可泛化的方向发展，还为多模态人工智能在真实世界应用中的可靠性奠定了理论基础。

衍生相关工作

基于该数据集衍生的经典工作主要集中在多模态融合与域适应技术的创新上。例如，研究者们借鉴注意力混合融合方法，开发了更高效的跨模态交互架构；同时，梯度反转层等域泛化策略被进一步探索，以应对数据分布差异。这些工作不仅深化了对视听欺骗线索的理解，如面部动作单元与梅尔频谱特征的联合优化，还促进了跨领域人工智能模型在情感计算、安全监控等相关领域的拓展与应用。