Deception Detection and Physiological Monitoring (DDPM) dataset

DDPM数据集是由圣母大学创建的，旨在支持欺骗检测和远程生理监测的研究。该数据集包含近13小时的记录，涵盖70名受试者，以及超过800万个可见光、近红外和热视频帧，以及相应的元数据、音频和脉搏血氧仪数据。数据集的创建过程涉及数据收集、标注、校验和组织，以支持一系列欺骗检测实验。DDPM数据集特别适用于欺骗检测和远程光体积描记术研究，是目前唯一提供五种模式记录的数据集。该数据集的应用领域包括旅行者筛查等，旨在通过分析视频和脉搏数据来识别欺骗行为。

The DDPM Dataset was created by the University of Notre Dame to support research on deception detection and remote physiological monitoring. This dataset contains nearly 13 hours of recordings covering 70 subjects, along with over 8 million visible light, near-infrared, and thermal video frames, as well as corresponding metadata, audio, and pulse oximetry data. The dataset creation process involves data collection, annotation, validation, and organization to support a series of deception detection experiments. The DDPM Dataset is particularly suitable for deception detection and remote photoplethysmography research, and it is currently the only dataset that provides recordings in five modalities. Its application areas include traveler screening and other related fields, aiming to identify deceptive behaviors by analyzing video and pulse-related data.

搜集汇总

数据集介绍

构建方式

在欺骗检测与远程生理监测领域，DDPM数据集的构建采用了多模态同步采集策略。研究团队设计了一个模拟面试场景，其中受访者需对特定问题提供欺骗性回答。数据采集过程整合了高分辨率RGB相机、近红外相机及长波红外热成像仪，同时记录心电脉搏、血氧饱和度及音频信号。为确保时间同步性，所有传感器通过可见光与红外信号发生器进行校准。数据采集后，团队对访谈内容进行逐帧标注，区分访谈者与受访者发言区间，并依据人口统计学特征划分训练集、验证集与测试集，最终形成包含近13小时录制时长、超过800万帧图像的多模态数据集。

特点

DDPM数据集的核心特点在于其多模态融合与高时空分辨率。该数据集首次在欺骗检测场景中同步提供可见光、近红外与热成像视频，并辅以脉搏血氧仪记录的生理信号。数据规模方面，它涵盖了70名受试者的1680条标注回答，成为当前欺骗检测领域数据量最丰富的公开资源。此外，数据集捕捉了自然对话中的面部非约束运动，为远程光电容积描记术研究提供了真实环境下的基准。其多模态特性支持从微表情、眼动扫视、心率波动等多维度探究欺骗行为的生理与行为关联。

使用方法

DDPM数据集适用于欺骗检测与远程生理监测的双重研究目标。在使用时，研究者可依据预设的数据划分方案，采用受试者独立的训练集与测试集进行模型开发与评估。对于欺骗检测任务，可提取面部动作单元、眼动扫视频率或心率变异性等特征，结合访谈内容的时序标注进行二分类分析。在远程生理监测方面，数据集支持基于盲源分离、色度变换或深度学习的心率估计算法验证。数据集中同步提供的多模态信号允许进行特征融合实验，例如结合眼动与脉搏信号以提升欺骗检测的鲁棒性。所有数据均附有详细的元数据与时间戳，便于跨模态对齐与综合分析。

背景与挑战

背景概述

在人类行为分析与远程生理监测领域，多模态数据集的构建对于推动欺骗检测与生理信号研究具有关键意义。由圣母大学研究人员于2021年发布的Deception Detection and Physiological Monitoring (DDPM)数据集，旨在通过模拟面试场景，系统性地捕捉被试者在诚实与欺骗回答下的多维度生理与行为信号。该数据集整合了可见光、近红外与长波红外视频、心脉搏动、血氧饱和度及音频五种模态，涵盖了70名被试者近13小时的录制数据，核心研究问题聚焦于利用非侵入式传感技术实现高精度欺骗识别与远程光电容积描记术。作为当前规模最大、模态最丰富的欺骗检测数据集，DDPM为心理学、计算机视觉与生物医学工程领域的交叉研究提供了重要基准，显著提升了多模态信号融合分析与算法验证的可靠性。

当前挑战

在欺骗检测领域，DDPM数据集致力于解决的核心挑战在于如何通过非接触式传感技术，从复杂自然对话中准确识别细微的欺骗线索，例如微表情、眼动模式与心率变异等生理行为特征。然而，该领域长期面临信号噪声干扰、个体差异显著以及高维模态数据对齐困难等科学难题。在数据集构建过程中，研究团队需克服多传感器时间同步、高分辨率视频流实时处理、以及面试场景中欺骗行为诱导与标注一致性等操作挑战。此外，确保数据在跨光谱成像与生理信号采集中的质量统一，并为深度学习模型提供足够规模且平衡的样本分布，亦是数据集构建中需精心设计的关键环节。

常用场景

经典使用场景

在欺骗检测与远程生理监测领域，DDPM数据集为模拟面试场景下的多模态行为分析提供了经典范例。该数据集通过精心设计的访谈协议，捕捉受访者在诚实与欺骗回答时的面部表情、眼动模式、语音特征及生理信号，为研究者构建了一个高度结构化的实验环境。其核心应用在于验证非语言线索与生理指标在欺骗识别中的有效性，尤其在探讨自发谎言与计划性谎言的差异时，数据集的多模态同步记录能力展现出独特价值。

解决学术问题

DDPM数据集有效解决了欺骗检测研究中长期存在的若干学术难题。首先，它通过整合RGB、近红外与热成像等多模态数据，克服了单一传感器在复杂环境下信号捕获的局限性。其次，数据集提供了大规模标注的真实与欺骗回答样本，为基于统计学习的欺骗识别模型提供了可靠训练基础。尤为重要的是，数据集支持对微表情、非视觉眼跳及心率变异性等争议性线索进行实证检验，推动了欺骗检测从主观经验向客观量化分析的范式转变。

衍生相关工作

DDPM数据集催生了多领域交叉研究的经典工作。在生理信号分析方面，基于其开发的3DCNN心率估计算法推动了远程光电容积描记技术的精度提升。欺骗检测领域则衍生出融合眼动与脉搏特征的多元分类器研究，验证了多模态特征融合的优越性。数据集还被用于微表情检测算法的跨数据集验证，促进了CAS(ME)²与SAMM等微表情数据库的算法迁移研究。这些工作共同构建了多模态欺骗检测的理论与方法体系。