MMME

MMME数据集是中国科学院军事科学院国防创新研究院和西北工业大学共同开发的，包含634个微表情样本，同时收集了脑电图（EEG）和多种外围生理信号（PPG, RSP, SKT, EDA, ECG），是迄今为止最全面的微表情数据集之一。该数据集旨在研究微表情和生理信号之间的关联机制，并开发多模态融合框架，为微表情分析和情感识别提供数据支持。The MMME Dataset was co-developed by the National Institute of Defense Innovation, Academy of Military Sciences, Chinese Academy of Sciences, and Northwestern Polytechnical University. It contains 634 micro-expression samples, and simultaneously collects electroencephalogram (EEG) and multiple peripheral physiological signals including PPG, RSP, SKT, EDA, and ECG. It is one of the most comprehensive micro-expression datasets to date. This dataset aims to investigate the correlation mechanism between micro-expressions and physiological signals, develop multimodal fusion frameworks, and provide data support for micro-expression analysis and emotion recognition.

原始信息汇总

MMME数据集概述

数据集简介

• 全称：MMME: A Spontaneous Multi-Modal Micro-Expression Dataset Enabling Visual-Physiological Fusion
• 核心贡献：首个同步采集面部动作信号（微表情）、中枢神经系统信号（EEG）和外周生理信号（PPG、RSP、SKT、EDA、ECG）的自发多模态微表情数据集

数据规模与构成

• 微表情（MEs）：634个
• 宏表情（MaEs）：2,841个
• 同步多模态生理信号：2,890组试验
• 标注样本特征：
  • 7种基本离散情绪分布
  • 3种复合情绪分布（"Negative"、"Positive"、"Surprise"）
  • 参与者性别构成
  • 微表情平均持续时间及标准差（与基准数据集对比）

数据采集系统

• 实验环境：受控环境
• 照明系统：
  • 3个600瓦直流供电LED灯（配备伞形反射器）
  • 布局：1个中央正对参与者，2个45度侧向光源
• 参与者设置：
  • 与主显示器距离：1米
  • 背景：绿色背景板（便于面部图像处理）

数据特征

• 动作单元（AU）：包含详细编码表（含动作描述、发生区域和计数）
• 模态多样性：当前最全面的微表情数据集（涵盖视觉-生理多模态）

应用验证

• 实验证明：微表情与生理信号融合可显著提升识别和检测性能

数据获取方式

1. 下载"Release Agreement.pdf"文件
2. 打印并手工填写所需信息
3. 发送扫描件至邮箱：[e-mail]

可视化资料

• 实验设置示意图
• 动作单元编码表
• 数据分布统计图
• 各情绪标签的微表情样本动画

搜集汇总

数据集介绍

构建方式

MMME数据集通过同步采集面部动作信号（微表情）、中枢神经系统信号（EEG）以及多种外周生理信号（PPG、RSP、SKT、EDA和ECG）构建而成。数据采集过程中，采用了高分辨率（2040×1080像素）和高速帧率（150 fps）的工业级摄像头，确保微表情的细微变化能被精确捕捉。同时，EEG和生理信号以1000 Hz的高采样率同步记录，确保了多模态数据的时间对齐。实验采用精心筛选的情绪诱发视频材料，通过连续监测和实时提醒（CMRR）范式，有效提升了微表情的自然诱发率和数据质量。

特点

MMME数据集是目前模态最为丰富的微表情数据集，包含634个微表情样本、2841个宏表情样本以及2890组同步多模态生理信号数据。其独特之处在于首次实现了面部行为信号与中枢及外周生理信号的三模态同步采集，为探索微表情的神经机制和多模态融合分析提供了坚实基础。数据集标注精细，包含21种面部动作单元（AU）和七种基本情绪类别，并额外提供效价-唤醒度的连续维度标注，支持更细粒度的情绪分析。样本平均持续时间为389毫秒（±97毫秒），与主流微表情数据集的时间特性一致，验证了数据的可靠性。

使用方法

该数据集支持三类典型应用：1）基于视觉特征的微表情识别，可采用LBP-TOP、3D-CNN等算法提取时空特征；2）多模态融合分析，通过EEGNet处理脑电信号、SVM分析生理特征，并与视觉特征进行决策级融合；3）微表情检测任务，结合光流特征与心电信号斜率变化（HRS）开发候选片段过滤模块（CCF）。使用时应遵循留一被试交叉验证（LOSO-CV）协议，评估指标推荐采用F1-score、UF1和IoU。数据集文件按被试ID组织，包含同步的时间戳文件和标准化预处理脚本，确保多模态数据的对齐与分析便利性。

背景与挑战

背景概述

MMME（Multi-Modal Micro-Expression）数据集是由中国军事科学院国防科技创新研究院和西北工业大学的研究团队于2025年提出的创新性多模态微表情数据集。该数据集首次实现了面部动作信号（微表情）、中枢神经系统信号（EEG）和外周生理信号（PPG、RSP、SKT、EDA、ECG）的同步采集，突破了传统微表情研究仅依赖单一视觉模态的局限。作为目前模态多样性最全面的微表情数据集，MMME包含634个微表情样本、2,841个宏表情样本和2,890组同步多模态生理数据，为探索微表情的神经机制和开发多模态融合分析方法提供了重要基础。该数据集通过视频刺激诱发范式，采用创新的连续监测实时提醒（CMRR）实验范式，显著提高了微表情的诱发效率，其数据质量通过FACS认证专家的精细标注和多种先进算法的基准测试得到验证。

当前挑战

MMME数据集面临的核心挑战体现在两个维度：在领域问题层面，微表情的瞬时性（40-500ms）和低强度特性导致传统单模态视觉分析方法识别准确率不足，且现有研究缺乏对跨模态关联机制的探索；在构建过程层面，技术挑战包括多源异构数据的高精度同步（需处理kHz级生理信号与150fps视频的时序对齐）、生态效度与实验控制的平衡（通过CMRR范式解决被试者无意识放松问题），以及样本不平衡（某些情绪类别如'轻蔑'样本量仅为'厌恶'的27.6%）。此外，多模态特征融合需要解决不同采样率的信号对齐（如EEG 1000Hz与视频150fps）、跨模态关联建模等关键技术难题，这些挑战共同推动了从单模态分析向多模态融合的范式转变。

常用场景

经典使用场景

MMME数据集在微表情识别领域具有广泛的应用场景，尤其在情感计算和人机交互研究中表现突出。该数据集通过同步采集面部动作信号（MEs）、中枢神经系统信号（EEG）以及外周生理信号（PPG、RSP、SKT、EDA和ECG），为研究者提供了多模态融合分析的坚实基础。其经典使用场景包括情感识别、心理压力检测以及欺骗行为分析。通过结合视觉和生理信号，MMME能够更全面地捕捉情感变化的细微特征，从而提升识别和检测的准确性。

衍生相关工作

MMME数据集催生了一系列创新性研究工作，推动了微表情分析领域的技术进步。基于该数据集，研究者开发了多种多模态融合算法，如视觉-生理特征融合框架和基于EEG的微表情识别模型。这些工作不仅验证了多模态融合在提升ME识别性能方面的优势，还为理解微表情的神经生理机制提供了新见解。此外，MMME启发了对ME与生理信号一致性关系的深入探索，衍生出关于情绪表达多通道理论在微表情领域应用的重要研究。这些相关工作共同构成了从单模态分析到多模态理解的ME研究新范式。

数据集最近研究

最新研究方向

近年来，MMME数据集在微表情识别领域的研究方向主要集中在多模态融合技术上。该数据集首次实现了面部动作信号（微表情）、中枢神经系统信号（EEG）和外周生理信号（PPG、RSP、SKT、EDA和ECG）的同步采集，为探索微表情与生理信号之间的跨模态关联机制提供了重要数据支持。前沿研究热点包括基于视觉-生理信号融合的微表情识别与检测算法，以及微表情神经机制的理论探索。这些研究不仅显著提升了微表情分析的准确性和鲁棒性，还推动了情感计算从单模态视觉分析向多模态融合的范式转变，在刑事侦查、心理健康监测和人机交互等领域具有重要应用价值。

相关研究论文

• MMME: A Spontaneous Multi-Modal Micro-Expression Dataset Enabling Visual-Physiological Fusion

  中国人民解放军军事科学院国防创新研究院, 中国人民解放军军事科学院国防创新研究院 · 2025年