iMiGUE

iMiGUE是由天津大学电气与信息工程学院和芬兰奥卢大学机器视觉与信号分析中心共同创建的视频数据集，专注于微手势理解和情感分析。该数据集包含18,499个微手势样本，不包含任何身份信息，旨在通过计算机视觉方法识别和理解被抑制或隐藏的情感。iMiGUE数据集的特点包括：微手势为基础，不涉及敏感生物识别数据，具有种族多样性，性别平衡，以及使用比赛结果作为情感类别的自然和客观参考。该数据集不仅用于微手势识别，更重要的是探索微手势与情感状态之间的关系，为情感人工智能领域的研究提供了一个新的基准。

iMiGUE is a video dataset jointly created by the School of Electrical and Information Engineering of Tianjin University and the Center for Machine Vision and Signal Analysis of the University of Oulu, Finland, focusing on micro-gesture understanding and sentiment analysis. This dataset contains 18,499 micro-gesture samples with no personal identity information, aiming to identify and comprehend suppressed or concealed emotions via computer vision methods. The characteristics of the iMiGUE dataset include: being micro-gesture-based, free of sensitive biometric data, featuring ethnic diversity and gender parity, and using competition results as a natural and objective reference for sentiment categories. This dataset is not only used for micro-gesture recognition, but more importantly, it explores the correlation between micro-gestures and emotional states, offering a new benchmark for research in the field of affective artificial intelligence.

搜集汇总

数据集介绍

构建方式

在情感计算领域，iMiGUE数据集的构建聚焦于捕捉无意识微手势以分析隐藏情绪。该数据集通过收集网球大满贯赛事赛后新闻发布会视频，从中提取自然情境下的微手势实例。视频来源于公开网络平台，确保高分辨率与背景一致性。数据标注采用双层体系：在视频片段级别标注32类微手势，依据心理学研究将手势划分为头、身、手等五大组；在视频整体级别标注情绪类别，以比赛胜负作为正负情绪的客观依据。为确保标注质量，采用多人协作与交叉校验机制，平均标注者间一致性达0.81，最终包含359段视频与18499个微手势样本。

特点

iMiGUE数据集的显著特点在于其专注于身份无关的微手势分析，避免了敏感生物特征数据的使用，从而兼顾隐私保护。微手势作为无意识行为，能有效揭示被抑制或隐藏的情绪，与现有刻意表演的手势数据集形成鲜明对比。数据集涵盖72名来自28个国家与地区的参与者，实现了性别与文化背景的平衡分布。此外，样本呈现长尾分布，各类别微手势出现频率差异显著，这为模型训练带来了真实世界中的不平衡挑战。数据集的构建不仅支持微手势识别，更通过整体性分析探索微手势与情绪状态的关联，推动了情感人工智能向深层理解迈进。

使用方法

iMiGUE数据集的使用分为微手势识别与情绪理解两个层级。在微手势识别任务中，研究者可采用监督或非监督学习方法，基于提供的姿态关键点或RGB视频数据，训练模型对32类微手势进行分类。数据集已划分训练集与测试集，支持跨主体评估协议。在情绪理解任务中，需整合视频中所有微手势的识别结果，通过序列建模方法（如循环神经网络）整体分析情绪状态，以比赛胜负作为正负情绪标签进行训练与验证。数据集中附带的基准实验结果可为模型性能提供参考，同时其身份无关特性使其成为隐私敏感场景下情绪分析研究的理想基准。

背景与挑战

背景概述

iMiGUE数据集由天津大学与芬兰奥卢大学的研究团队于2021年联合创建，旨在推动情感人工智能领域对微手势的理解与分析。该数据集聚焦于非语言的身体微手势，这些手势源于内在情感驱动的无意识行为，而非传统数据集中常见的刻意表演性手势。通过采集网球大满贯赛事赛后新闻发布会视频，iMiGUE摒弃了敏感的生物特征数据（如面部与语音），以身份无关的方式保护个人隐私。其核心研究问题在于探索微手势与隐藏情感状态之间的关联，并推动模型从孤立手势识别向整体情感理解的跨越。该数据集的发布为计算机视觉与情感计算领域提供了首个专注于微手势的公开基准，促进了隐私保护型情感分析模型的发展。

当前挑战

iMiGUE数据集面临的挑战主要体现在领域问题与构建过程两方面。在领域问题上，微手势的识别与分析本身具有较高难度：微手势往往持续时间短暂、动作细微，且不同类别间视觉差异不明显（如“触摸前额”与“遮盖面部”），这导致现有监督学习模型在此类细粒度行为识别中表现受限。同时，从微手势到情感状态的映射需克服行为识别与情感理解之间的鸿沟，要求模型能够整合序列中的手势信息以进行整体情绪推断。在构建过程中，数据采集需确保手势的自发性与真实性，避免表演性偏差；而标注工作则因微手势的隐蔽性与主观性面临巨大挑战，需通过多轮训练与交叉校验来保证标注一致性。此外，数据集中存在的类别不平衡分布（长尾分布）也为模型训练带来了额外困难。

常用场景

经典使用场景

在情感计算与计算机视觉领域，iMiGUE数据集为微手势识别与情感分析提供了独特的研究平台。该数据集聚焦于非语言的身体微手势，这些手势源于个体无意识的情感流露，而非刻意表演。经典使用场景涉及对体育赛后新闻发布会视频的分析，研究者通过识别如“交叉双臂”、“掩面”等微手势，探索其与内在情感状态（如胜利或失败引发的积极或消极情绪）之间的关联，从而推动情感人工智能在自然交互场景中的深入应用。

实际应用

在实际应用层面，iMiGUE数据集为开发非侵入式情感感知系统提供了重要支撑。基于微手势分析的技术可应用于心理健康评估、人机交互优化、远程教育情绪反馈及安全监控等领域。例如，在在线面试或远程医疗场景中，系统可通过分析受访者的无意识身体微动，辅助评估其情绪压力或诚实度，而无需触及个人敏感生物信息。这种身份无关的分析方式契合了日益增长的隐私保护需求，为情感AI技术在现实世界的合规部署开辟了新路径。

衍生相关工作

围绕iMiGUE数据集，已衍生出一系列探索微手势识别与情感理解的前沿工作。研究者在数据集上系统评估了包括时序卷积网络（如I3D、C3D）、图卷积网络（如ST-GCN、MS-G3D）以及循环神经网络（如LSTM、BLSTM）在内的多种模型性能。特别地，为应对数据分布不平衡的挑战，提出了无监督序列到序列学习框架（如U-S-VAE），通过编码器-解码器结构学习微手势序列的潜在表征。这些工作不仅建立了微手势识别的性能基准，更验证了微手势特征对于提升整体情感分类准确率的有效性，为后续研究提供了方法论借鉴与比较基础。