DOLOS, Real-life Deception Detection, Bag-of-Lies, Miami University Deception Detection Database (MU3D), Box-of-Lies

DOLOS是一个基于游戏节目的欺骗检测数据集。Real-life Deception Detection、Bag-of-Lies、Miami University Deception Detection Database (MU3D)和Box-of-Lies是用于多模态欺骗检测竞赛的训练和评估数据集。

DOLOS是一个基于游戏节目的欺骗检测数据集。现实场景欺骗检测（Real-life Deception Detection）、谎言袋（Bag-of-Lies）、迈阿密大学欺骗检测数据库（Miami University Deception Detection Database, MU3D）以及盒子谎言（Box-of-Lies），均可作为多模态欺骗检测竞赛的训练与评估数据集。

原始信息汇总

MMDD 2025: 多模态欺骗检测竞赛数据集概述

数据集来源

• 训练数据集:
  • Real-life Deception Detection (Real-life Trial)
  • Bag-of-Lies
  • Miami University Deception Detection Database (MU3D)
• 第一阶段评估数据集: Box-of-Lies
• 第二阶段测试数据集: 将于2025年5月9日发布
• DOLOS数据集: 游戏节目基础的欺骗数据集

数据访问

• 所有参与者必须签署协议后才能访问原始平台上的数据集。
• 竞赛组织者不直接提供原始数据，而是提供以下提取的特征:
  • OpenFace特征
  • 预训练模型的情感特征
  • 使用PyTorch生成的Mel频谱图
  • 特征下载地址: OneDrive链接 (密码: MMDD123456)
• DOLOS数据集下载地址: ROSE Lab, NTU

注意事项

• 提供的特征不包含任何可识别信息。
• 如果没有outlook/onedrive账户且遇到下载问题，请联系[e-mail]并提供用于访问OneDrive的电子邮件账户。

相关资源

• DOLOS数据集和完整训练过程参考: GitHub仓库
• 融合模块测试命令: sh train_test_feature.sh
• 不同模态和融合方法的训练: 参考models/fusion_net.py
• 环境配置: 参考environment.yml

引用文献

bash @inproceedings{guo2023audio, title={Audio-visual deception detection: Dolos dataset and parameter-efficient crossmodal learning}, author={Guo, Xiaobao and Selvaraj, Nithish Muthuchamy and Yu, Zitong and Kong, Adams Wai-Kin and Shen, Bingquan and Kot, Alex}, booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision}, pages={22135--22145}, year={2023} }

@article{guo2024benchmarking, title={Benchmarking Cross-Domain Audio-Visual Deception Detection}, author={Guo, Xiaobao and Yu, Zitong and Selvaraj, Nithish Muthuchamy and Shen, Bingquan and Kong, Adams Wai-Kin and Kot, Alex C}, journal={arXiv preprint arXiv:2405.06995}, year={2024} }

搜集汇总

数据集介绍

构建方式

DOLOS数据集构建于游戏节目场景中，旨在捕捉真实情境下的欺骗行为。数据集的构建过程涉及多模态数据的采集，包括音频和视频信号。通过使用OpenFace提取面部特征、预训练模型提取情感特征，以及利用PyTorch生成Mel频谱图，数据集提供了丰富的多模态特征。这些特征经过处理，确保不包含任何可识别的个人信息，从而保护参与者的隐私。

特点

DOLOS数据集的特点在于其多模态性质，涵盖了音频和视觉信息，能够全面反映欺骗行为的复杂特征。数据集中的特征经过精心提取和处理，确保了数据的多样性和代表性。此外，DOLOS数据集还提供了跨领域的欺骗检测基准，为研究者提供了丰富的实验材料。其独特之处在于结合了游戏节目场景的真实性，使得数据集在欺骗检测领域具有较高的实用价值。

使用方法

使用DOLOS数据集时，研究者可以通过提供的脚本文件进行特征融合模块的测试，具体命令为`sh train_test_feature.sh`。此外，数据集支持多种模态和融合方法的训练，相关代码和模型细节可在`models/fusion_net.py`中找到。为确保实验环境的兼容性，研究者需参考`environment.yml`文件配置所需的环境。数据集的使用不仅限于欺骗检测，还可用于跨模态学习的研究，为多模态数据处理提供了丰富的实验平台。

背景与挑战

背景概述

DOLOS数据集是一个基于游戏节目的欺骗检测数据集，由新加坡南洋理工大学的ROSE实验室于2023年创建。该数据集的核心研究问题是通过多模态数据（如音频和视觉信息）来检测欺骗行为，旨在提升欺骗检测的准确性和鲁棒性。DOLOS数据集的构建基于实际游戏场景，提供了丰富的多模态特征，包括OpenFace特征、情感特征和Mel频谱图。该数据集在计算机视觉和多媒体领域具有重要影响力，特别是在跨模态学习和欺骗检测任务中，为研究者提供了一个标准化的基准平台。

当前挑战

DOLOS数据集在解决欺骗检测问题时面临多重挑战。首先，欺骗行为本身具有高度的复杂性和多样性，难以通过单一模态数据准确捕捉。其次，多模态数据的融合与对齐是一个技术难点，如何在音频和视觉信息之间建立有效的关联并提取关键特征，是模型性能提升的关键。此外，数据集的构建过程中，如何在不泄露参与者隐私的前提下收集和处理真实场景下的多模态数据，也是一个重要的伦理和技术挑战。最后，跨领域欺骗检测的泛化能力仍需进一步提升，以应对不同场景和任务的需求。

常用场景

经典使用场景

DOLOS数据集在欺骗检测领域具有广泛的应用，尤其是在多模态数据分析中。该数据集通过结合音频和视觉信息，为研究者提供了一个丰富的实验平台，用于开发和测试欺骗检测算法。经典的使用场景包括在游戏节目中的欺骗行为分析，通过捕捉参与者的面部表情、语音变化和身体语言，来识别潜在的欺骗行为。

实际应用

在实际应用中，DOLOS数据集可以用于安全监控、司法审讯和在线社交平台等场景。例如，在安全监控中，通过分析嫌疑人的多模态行为特征，可以更准确地判断其是否在说谎。在司法审讯中，该数据集可以帮助审讯人员识别被审讯者的欺骗行为，从而提高审讯的效率和准确性。此外，在线社交平台也可以利用该数据集来检测虚假信息和欺诈行为。

衍生相关工作

DOLOS数据集衍生了许多相关的研究工作，特别是在多模态欺骗检测领域。例如，基于DOLOS数据集的研究提出了多种跨模态融合方法，如参数高效的跨模态学习模型，这些模型在欺骗检测任务中表现出色。此外，该数据集还推动了多模态数据特征提取和融合技术的发展，为后续的研究提供了宝贵的参考和基础。