MDPEdataset/MDPE_Dataset

MDPE是一个多模态的欺骗数据集。除了欺骗特征外，还包括了个性差异和情感表达特征的信息。该数据集不仅支持欺骗检测，还为个性识别和情感识别等任务提供了条件，甚至可以研究它们之间的关系。MDPE is a multimodal deception dataset. Besides deception features, it also includes individual differences information in personality and emotional expression characteristics. MDPE not only supports deception detection, but also provides conditions for tasks such as personality recognition and emotion recognition, and can even study the relationships between them.

搜集汇总

数据集介绍

构建方式

MDPE数据集（Multimodal Deception Dataset with Personality and Emotional Characteristics）由研究团队精心构建，旨在探索欺骗行为与个体差异之间的深层关联。该数据集通过模拟真实场景下的互动任务，采集参与者在欺骗与诚实状态下的多模态数据，涵盖面部表情、语音、文本及生理信号等维度。同时，结合标准化心理量表评估参与者的人格特质与情绪表达特征，构建了包含欺骗标签与个体差异信息的综合性数据集。数据采集过程严格遵循伦理规范，所有参与者均签署知情同意书，确保数据质量与隐私保护。

特点

MDPE数据集的核心特色在于其多模态融合与个体差异信息的整合。它不仅支持传统的欺骗检测任务，还为人格识别与情绪识别研究提供了丰富的数据基础。数据集包含超过100B的样本规模，覆盖多种欺骗情境与表达方式，标签体系经过多次校准以确保准确性。此外，数据集提供了人格特质、情绪表达特征与欺骗行为之间的关联分析条件，为探究欺骗行为的心理机制提供了独特视角。这种多维度的数据设计使得MDPE在欺骗研究领域具有显著的前沿性与应用价值。

使用方法

用户可通过签署最终用户许可协议（EULA）并发送至指定邮箱获取数据集访问权限。数据集下载后需使用密码解压，适用于视频分类、多模态欺骗检测、人格识别及情绪识别等任务。推荐使用Python环境加载数据，结合深度学习框架（如PyTorch或TensorFlow）构建多模态模型。数据集的标签文件已修复至最新版本，建议用户定期检查更新以保持数据一致性。具体使用细节可参考GitHub仓库中的示例代码与文档，确保高效开展研究工作。

背景与挑战

背景概述

欺骗检测作为情感计算与行为分析领域的重要研究方向，长期以来受限于数据样本的单一性与规模不足。MDPE数据集由中国科学院自动化研究所陶建华研究员团队与多所高校联合构建，于2024年首次发布，并在2025年ACM国际多媒体大会上正式公开。该数据集的核心研究问题在于如何融合多模态信号与个体差异信息，提升欺骗检测的鲁棒性与泛化能力。与传统仅关注面部或语音特征的欺骗数据集不同，MDPE不仅采集了视频、音频等多模态数据，还系统标注了人格特质与情绪表达特征，为探究欺骗行为与个性、情感之间的内在关联提供了宝贵的资源。该数据集的发布填补了多模态、多维度欺骗数据集领域的空白，对推动欺骗检测从实验室环境走向真实应用具有重要影响力。

当前挑战

MDPE数据集所面临的挑战具有双重性。在领域问题层面，欺骗检测本身具有高度复杂性与隐蔽性，真实场景中的欺骗行为往往伴随微妙的非语言线索，而现有模型难以捕捉跨模态间的互补信息。此外，人格与情绪特征的引入虽然拓宽了研究视角，但如何构建有效的多任务学习框架，同时利用欺骗标签与个体差异标签，仍是亟待突破的瓶颈。在数据集构建过程中，挑战同样严峻：数据采集需在受控环境下模拟真实欺骗场景，确保生态效度；视频与音频数据的同步校准、标注一致性以及隐私保护协议的执行均增加了工程难度。大规模数据的脱敏处理与跨文化适应性验证，亦是该数据集后续迭代与推广中必须攻克的技术难题。

常用场景

经典使用场景

在多模态欺骗检测领域，MDPE数据集凭借其融合个性与情绪特征的独特设计，成为研究欺骗行为识别的重要资源。该数据集通过同步采集视频、音频和文本等多模态信号，构建了包含真实与欺骗场景的丰富样本库，为训练和评估基于深度学习或传统机器学习方法的欺骗检测模型提供了标准化基准。研究者可借助该数据集中标注的欺骗标签，探索面部微表情、语音韵律变化及语言模式等跨模态特征在欺骗识别中的协同作用，从而推动该领域从单一模态向多模态融合的范式演进。

衍生相关工作

MDPE数据集的发布催生了一系列创新性研究工作。基于其多模态特性，研究者开发了融合注意力机制的跨模态欺骗检测网络（如CMDN模型），显著提升了复杂场景下的识别性能。部分工作聚焦于探索人格特质对欺骗识别模型泛化能力的影响，提出了个性化欺骗检测框架（如PD-PersonNet），通过引入人格嵌入层缓解个体差异导致的模型偏差。此外，该数据集还启发了情绪-欺骗联合建模的研究方向，衍生出诸如情绪状态感知的欺骗检测方法（如ES-Detector），将情绪识别作为辅助任务增强主任务的鲁棒性。这些工作共同推动了欺骗检测领域从静态特征分析向动态心理建模的转型。

数据集最近研究

最新研究方向

在多媒体与人工智能交叉领域，欺骗检测正从单一模态向多模态融合演进，并日益关注个体差异对行为信号的影响。MDPE数据集作为首个整合人格特质与情绪表达特征的多模态欺骗数据集，为前沿研究提供了关键支撑。基于该数据集，研究者能够深入探索面部微表情、语音韵律与文本内容在欺骗行为中的协同作用，并揭示大五人格、情绪稳定性等变量对欺骗表现模式的调节效应。近期热点方向包括结合大型语言模型进行跨模态欺骗线索的语义解析，以及利用图神经网络建模人格-情绪-欺骗之间的复杂依赖关系。该数据集还推动了真实场景下高鲁棒性欺骗检测系统的发展，对司法审讯、人机交互安全及反欺诈技术具有重要应用价值，标志着行为信号理解从浅层特征分析向深层心理机制建模的范式转变。