MMME

MMME是一个新颖的自发多模态微表情数据集，首次实现了面部动作信号（微表情）、中枢神经系统信号（EEG）和外周生理信号（PPG、RSP、SKT、EDA和ECG）的同步采集。该数据集包含634个微表情、2,841个宏表情和2,890个同步多模态生理信号试验，为研究微表情神经机制和进行多模态融合分析提供了坚实的基础。

MMME is an innovative spontaneous multimodal micro-expression dataset that for the first time achieves the synchronous collection of facial motion signals (micro-expressions), central nervous system signals (EEG), and peripheral physiological signals (PPG, RSP, SKT, EDA, and ECG). The dataset contains 634 micro-expression trials, 2,841 macro-expression trials, and 2,890 synchronous multimodal physiological signal trials, providing a solid foundation for the study of micro-expression neural mechanisms and multimodal fusion analysis.

原始信息汇总

MMME数据集概述

数据集简介

• 全称：MMME: A Spontaneous Multi-Modal Micro-Expression Dataset Enabling Visual-Physiological Fusion
• 类型：多模态微表情数据集
• 创新点：首次实现面部动作信号（MEs）、中枢神经系统信号（EEG）和外周生理信号（PPG、RSP、SKT、EDA、ECG）的同步采集

数据规模

• 微表情（MEs）：634个
• 宏表情（MaEs）：2,841个
• 同步多模态生理信号：2,890次试验

数据特点

1. 多模态性：包含视觉模态和生理模态
2. 情感标注：七种基本离散情绪和三种复合情绪（"Negative"、"Positive"、"Surprise"）
3. 实验控制：
   • 专用照明系统消除50Hz交流电引起的闪烁
   • 三盏600瓦直流LED灯确保光照一致性
   • 参与者距离主显示器一米

应用价值

• 探索微表情神经机制
• 开发多模态融合框架
• 显著提升微表情识别和检测性能

获取方式

1. 下载"Release Agreement.pdf"文件
2. 打印并手工填写所需信息
3. 将扫描件发送至邮箱：[e-mail]

可视化内容

• 实验设置示意图
• 动作单元（AU）代码表（含发生区域和计数）
• 数据分布统计图（情感分布、数据集规模、参与者性别构成、微表情持续时间比较）
• 各情绪标签的微表情样本动画

搜集汇总

数据集介绍

构建方式

在微表情研究领域，MMME数据集通过创新的多模态同步采集技术实现了突破性进展。研究团队在严格控制的环境条件下，采用三盏600瓦直流LED灯组成的专业照明系统消除频闪干扰，确保面部图像采集质量。数据采集过程中，系统同步记录了面部动作信号（微表情）、中枢神经系统信号（脑电图）以及外周生理信号（包括脉搏波、呼吸、皮肤温度、皮肤电活动和心电图等），构建了包含634个微表情样本、2841个宏表情样本及2890组同步多模态生理信号的数据集。

使用方法

研究者可通过正式申请流程获取MMME数据集的使用权限。申请者需下载并填写发布协议文件，经手写签署后提交扫描件至指定邮箱。数据集获批后，使用者可基于同步的多模态信号开展微表情识别与检测研究，特别适用于探索视觉-生理特征融合算法。实验表明，整合生理信号能显著提升微表情分析性能，该数据集为开发跨模态关联模型提供了基准测试平台。需要注意的是，使用过程应严格遵守数据伦理规范，确保参与者隐私保护。

背景与挑战

背景概述

微表情作为揭示个体真实情感状态的微妙非语言线索，其研究在医疗健康、刑事侦查和人机交互等领域具有重要应用价值。MMME数据集由研究团队于近年开发，旨在突破传统微表情研究仅依赖单一视觉模态的局限，首次实现了面部动作信号（微表情）、中枢神经系统信号（脑电图）及外周生理信号（如PPG、RSP等）的同步采集。该数据集包含634个微表情样本、2841个宏表情样本以及2890组多模态生理信号，为探索微表情神经机制及多模态融合分析奠定了坚实基础。MMME以其模态多样性成为当前最全面的微表情数据集，推动了该领域从单模态视觉分析向多模态融合研究的范式转变。

当前挑战

在领域问题层面，传统微表情识别面临两大核心挑战：单模态视觉特征的局限性导致识别准确率难以满足实际应用需求，以及短暂的表情持续时间（通常仅1/25至1/5秒）对检测算法的时间分辨率提出极高要求。数据集构建过程中，研究团队需攻克多模态信号同步采集的技术难题，包括消除50Hz交流电引起的照明频闪、确保不同采样率的生理信号时间对齐，以及设计能同时诱发真实微表情和宏表情的实验范式。此外，跨模态数据标注需要建立视觉特征与生理响应之间的精确映射关系，这对标注团队的跨学科专业知识提出了独特挑战。

常用场景

经典使用场景

在情感计算与心理学研究中，MMME数据集为探索微表情与多模态生理信号之间的关联机制提供了独特平台。研究者通过同步分析面部动作单元、脑电图及外周生理信号（如皮电、心电等），能够深入挖掘情绪表达的神经生理基础，尤其在情绪识别算法的跨模态特征融合方面具有不可替代的价值。

解决学术问题

该数据集突破了传统微表情研究依赖单一视觉模态的局限，解决了三个核心学术问题：一是建立了微表情与中枢/外周神经活动的映射关系，为情绪产生的神经机制研究提供实证数据；二是通过多模态信号的时间同步采集，实现了对情绪瞬态变化的精准捕捉；三是为开发基于生理信号辅助的微表情检测算法提供了基准测试平台，显著提升了识别准确率与鲁棒性。

实际应用

在司法审讯场景中，MMME支持开发的跨模态情绪分析系统可辅助识别嫌疑人隐蔽情绪反应；在智能医疗领域，其同步采集的生理指标为抑郁症早期诊断提供了客观量化工具；人机交互系统则利用该数据集训练的模型，实现了对用户细微情绪变化的实时响应，显著提升了交互自然度。

数据集最近研究

最新研究方向

在微表情识别领域，MMME数据集的推出标志着研究范式从单一视觉模态向多模态融合的重大转变。该数据集首次实现了面部动作信号、中枢神经系统信号（EEG）与外周生理信号（PPG、RSP等）的同步采集，为探索微表情神经机制提供了前所未有的多维度数据支持。当前前沿研究聚焦于视觉特征与生理信号的跨模态关联机制解析，通过深度学习模型构建视觉-生理协同分析框架，显著提升了微表情识别与检测的准确率。这一突破性进展不仅推动了情感计算在医疗诊断、司法审讯等场景的实用化进程，更通过揭示情绪表达的神经生理基础，为构建新一代人机交互系统奠定了理论基础。