iMiGUE

该数据集名为iMiGUE，包含了从网球运动员的采访视频中收集的33种微手势类别，专注于解读运动员的微妙肢体语言线索。此外，部分训练数据（占总量的20%）被留作本地验证集，用于实验研究。该数据集的任务是对微手势进行分类。

This dataset, named iMiGUE, includes 33 categories of micro-gestures collected from interview videos of tennis players, focusing on interpreting the subtle body language cues of athletes. Additionally, 20% of the total training data is reserved as the local validation set for experimental research. The core task of this dataset is micro-gesture classification.

搜集汇总

数据集介绍

构建方式

在情感计算领域，传统数据集多依赖面部或语音等敏感生物特征，而iMiGUE数据集则聚焦于身份无关的微手势分析。该数据集构建于真实世界场景，通过收集网球大满贯赛事赛后新闻发布会视频，捕捉运动员在自然情境下无意识流露的微手势。视频筛选标准包括高分辨率（1280×720）、静态背景以及文化多样性，确保数据质量与代表性。标注工作采用双层体系：在视频片段级别标注32类微手势，依据心理学研究将手势划分为头、身、手等五大类；在视频级别标注积极或消极情感，以比赛胜负作为客观情感诱导依据。为确保标注可靠性，采用多人交叉标注与一致性检验机制，平均标注者间信度达0.81。

使用方法

iMiGUE数据集支持双层任务评估：在片段级别进行微手势识别，在视频级别实现情感理解。研究可采用监督学习方法，如利用时序分割网络（TSM）或图卷积网络（GCN）处理RGB或姿态序列数据；亦可采用无监督方法，如基于序列变分自编码器（U-S-VAE）学习微手势的潜在表示。数据集中已提供由OpenPose提取的姿态序列，便于骨架基方法直接使用。评估协议采用跨主体划分，将72名受试者分为训练集与测试集，确保模型泛化能力。对于情感分析任务，可通过聚合片段级微手势识别结果，利用循环神经网络（LSTM）等序列模型进行整体情感状态推断，从而验证微手势在情感理解中的促进作用。

背景与挑战

背景概述

iMiGUE数据集由天津大学与芬兰奥卢大学的研究团队于2021年联合创建，旨在推动情感人工智能领域的发展。该数据集聚焦于无身份信息的微手势理解与情感分析，核心研究问题在于通过非语言的身体微手势来识别被抑制或隐藏的情感状态。与现有依赖面部或语音等敏感生物特征的数据集不同，iMiGUE基于体育赛事赛后新闻发布会视频，以手势的细微动作为研究对象，为情感计算提供了新的视角。其创新性在于首次公开了针对情感微手势的基准数据，促进了隐私保护型情感分析模型的研究，对计算机视觉与情感计算领域产生了深远影响。

当前挑战

iMiGUE数据集面临的挑战主要体现在两个方面：在领域问题层面，微手势识别本身具有极高难度，因其动作细微、持续时间短，且不同类别间视觉差异微小，导致现有监督学习方法识别准确率受限；同时，从微手势到情感理解的跨越存在显著鸿沟，需模型具备整体序列分析能力而非孤立行为识别。在构建过程中，数据收集与标注面临严峻挑战：微手势的定义与分类需依据心理学研究精细界定；真实场景中自发微手势的诱发与采集依赖特定情境；数据标注需在视频片段和整体情感两个层级进行，且类别分布不平衡问题突出，增加了模型训练的复杂性。

常用场景

经典使用场景

在情感计算与计算机视觉领域，iMiGUE数据集为微手势识别与情感分析提供了独特的研究平台。该数据集聚焦于体育赛事赛后新闻发布会场景，通过捕捉运动员在高压访谈中无意识流露的微手势，如掩面、抱臂、交叉手指等，为模型训练提供了真实、自发的情感行为样本。其经典使用场景在于评估算法从这些细微、短暂的身体线索中识别特定微手势类别，并进一步整合序列信息以推断整体情感状态的能力，推动了从孤立行为识别到整体情感理解的范式转变。

解决学术问题

iMiGUE数据集致力于解决情感人工智能研究中的若干关键学术问题。首先，它突破了传统情感分析对敏感生物特征数据（如人脸、语音）的依赖，通过身份无关的微手势研究，在保护个人隐私的前提下探索隐藏情感的理解。其次，该数据集区分了有意识的示意性手势与无意识的微手势，为研究被抑制或隐藏的情感提供了专门的基准。最后，它旨在弥合行为识别与情感理解之间的鸿沟，不仅标注微手势类别，更提供视频层级的情感标签（积极/消极），促使研究从原型识别迈向对背后情感状态的 holistic 分析。

实际应用

iMiGUE数据集的实际应用价值体现在多个注重隐私与深层情感分析的领域。在智能人机交互中，系统可借助微手势分析更精准地感知用户的真实情绪状态，尤其在用户有意克制面部表情时。在心理健康辅助评估或远程医疗场景，通过对访谈对象微手势的自动化分析，可能为压力、焦虑等情绪状态提供客观、非侵入性的观察指标。此外，在安全访谈、司法测谎或高压力职业（如谈判、客服）的情绪监测中，该技术有望在不侵犯个人身份隐私的前提下，提供有价值的情绪线索分析支持。

数据集最近研究

最新研究方向

在情感计算领域，iMiGUE数据集的推出标志着微手势识别与情绪分析研究迈入新阶段。该数据集聚焦于无身份信息的微手势，为探索非故意行为驱动的内在情绪提供了独特视角。前沿研究主要围绕无监督学习模型开发，以应对数据分布不平衡的挑战，同时致力于从整体上理解微手势序列与情绪状态之间的复杂映射关系。这些进展不仅推动了隐私保护型情感AI的发展，也为跨文化情境下的情绪理解开辟了新路径。

相关研究论文

• iMiGUE: An Identity-free Video Dataset for Micro-Gesture Understanding and Emotion Analysis

  天津大学电气与信息工程学院 · 2021年