micro-and-macro expression warehouse (MMEW)

包含更多视频样本和更多标记情感类型的新数据集。

A novel dataset containing more video samples and more labeled emotional categories.

搜集汇总

数据集介绍

构建方式

在微表情分析领域，数据集的构建面临自发性和短暂性等固有挑战。MMEW（微宏观表情仓库）数据集的构建遵循了主流诱发范式，即参与者在观看情感视频时尝试保持中性表情，以诱发微表情。该数据集在受控实验室环境中采集，采用高分辨率摄像机（1920×1080像素）以90帧/秒的帧率记录，确保了面部细微运动的清晰捕捉。所有样本均经过专家细致校准，标注了起始帧、顶点帧和结束帧，并依据面部动作编码系统（FACS）对面部肌肉运动区域进行注释，提供了包括快乐、愤怒、惊讶、厌恶、恐惧、悲伤等七类情感标签。此外，MMEW独特地包含了同一参与者的宏表情样本，为跨模态研究提供了宝贵资源。

特点

MMEW数据集在微表情研究领域展现出多项显著特点。其样本具有较高的图像分辨率（1920×1080像素）和较大的面部区域（400×400像素），使得微表情的细微线索得以更清晰地呈现。该数据集包含了300个微表情样本和900个宏表情样本，情感类别涵盖七种类型，相比现有数据集提供了更丰富的样本数量和更精细的情感分类。尤为重要的是，MMEW是唯一一个同时包含同一参与者宏表情和微表情的数据集，支持利用自身宏表情数据进行预训练，避免了依赖外部数据集的需求。这一特性为探索宏微表情之间的关系以及开展主体依赖性和独立性研究开辟了新的途径。

使用方法

MMEW数据集主要用于微表情识别任务的研究与算法评估。在使用前，通常需要对图像序列进行预处理，包括面部检测、特征点定位、面部对齐以消除头部运动，以及使用插值算法（如TIM插值）将序列标准化为固定帧数。研究人员可以提取多种特征进行识别，例如基于光流的特征（如MDMO）、局部二值模式变体（如LBP-TOP、DCP-TOP）或利用深度学习模型（如TLCNN）进行端到端学习。数据集支持按参与者独立的划分方式进行五折交叉验证，以确保评估的公正性。其包含的宏表情样本可用于迁移学习，例如先在大规模宏表情数据上预训练模型，再在微表情数据上进行微调，以缓解微表情样本数量有限的问题。MMEW为公平比较不同识别方法提供了基准平台。

背景与挑战

背景概述

微表情作为揭示人类隐藏真实情感的瞬时面部肌肉运动，在心理学与计算机视觉交叉领域具有重要研究价值。MMEW（微宏观表情仓库）数据集由Xianye Ben、Su-Jing Wang等学者于2021年构建，旨在解决现有微表情数据规模有限、情感类别标注不完善等核心问题。该数据集收录了36名参与者在受控实验室环境下诱发的300段微表情视频与900段宏观表情视频，首次实现了同主体宏-微表情的配对采集，为探索两种表情模式的神经机制关联提供了独特实验平台。其1920×1080的高分辨率影像与精细化的面部动作编码系统标注，显著提升了微表情分析的粒度与可靠性，推动了情感计算领域向细粒度感知方向发展。

当前挑战

微表情分析面临双重挑战：在领域问题层面，由于微表情具有持续时间短（0.065-0.5秒）、运动强度低、肌肉活动区域局部化等特性，传统基于静态图像或长时序的宏观表情分析方法难以直接迁移，需要开发专门针对瞬时时序特征的检测与识别算法。在数据集构建层面，微表情的诱发依赖高情绪效价刺激与参与者情绪抑制的双重条件，采集过程受个体差异影响显著；同时，细微肌肉运动的标注高度依赖专家经验，标注一致性保障与时间成本控制构成主要瓶颈。此外，现有数据规模有限导致深度学习模型易出现过拟合，需通过跨域迁移学习或生成式数据增强等策略突破样本稀缺约束。

常用场景

经典使用场景

在微表情分析领域，MMEW数据集因其高分辨率视频样本和丰富的标注情感类别，成为微表情识别任务中的经典基准。该数据集通过在同一受试者身上同时采集宏表情与微表情样本，为研究者提供了探索两者间内在关联的独特机会。其经典使用场景主要集中于微表情的自动识别与分类，研究者利用该数据集训练和验证各类机器学习模型，以提升对短暂、低强度面部运动的检测能力。

解决学术问题

MMEW数据集有效解决了微表情研究中样本量不足、情感类别有限以及数据质量参差不齐等核心学术问题。通过提供300个高分辨率微表情样本，并涵盖愤怒、恐惧、悲伤等七类情感，该数据集显著扩充了可用于模型训练的数据规模。同时，其包含的宏表情样本为迁移学习提供了天然桥梁，使得研究者能够利用宏表情知识辅助微表情识别，从而缓解小样本学习带来的挑战，推动了微表情分析算法的可靠性与泛化能力提升。

衍生相关工作

MMEW数据集的发布催生了一系列衍生研究，尤其在跨域知识迁移与深度学习架构优化方面成果显著。例如，TLCNN（迁移长时卷积神经网络）利用该数据集的宏表情样本进行预训练，再对微表情样本进行微调，显著提升了识别准确率。此外，基于MMEW的对比研究推动了如DTSCNN（双时间尺度卷积神经网络）、ELRCN（增强型长时循环卷积网络）等先进模型的发展，这些工作不仅验证了宏-微表情间知识转移的有效性，也为解决微表情数据稀缺问题提供了创新思路。