VGAF-GEMS

VGAF-GEMS数据集是一个基于视频的群体情感识别数据集，由现有的VGAF数据集扩展而来。该数据集包含4183个视频样本，每个视频长度为5秒，帧率在13到30帧之间。数据集提供了连续和分类的情感标签，以及基于事件的标签，以标记关键时刻和相关情感。此外，数据集还包含群体级别的情感标签，以捕捉集体情感状态。该数据集旨在促进个体、情境和群体级别情感分析的研究。

The VGAF-GEMS dataset is a video-based group emotion recognition dataset extended from the existing VGAF dataset. It consists of 4,183 video samples, each with a duration of 5 seconds and a frame rate ranging from 13 to 30 frames per second. The dataset provides continuous and categorical emotion labels, as well as event-based labels for marking critical moments and their corresponding emotions. In addition, it also includes group-level emotion labels to capture collective emotional states. This dataset aims to advance research on emotion analysis at the individual, contextual, and group levels.

搜集汇总

数据集介绍

构建方式

VGAF-GEMS数据集基于VGAF数据集扩展构建，通过半自动标注流程结合Emolysis工具包进行精细化标注。首先利用HSEmotion模型预标注个体情绪、效价和唤醒度，随后由专家团队进行人工校验与修正。情境情绪标注采用人工分类方式，涵盖十种社交场景类型，并引入多标签情感分类体系。该数据集包含4,183段5秒视频样本，划分为训练集、验证集和测试集，通过密集标注实现了从个体到群体再到情境的多层次情绪关联。

使用方法

该数据集支持两种研究范式：零样本评估可直接测试大语言模型对群体情绪的推理能力；监督学习则需采用多任务框架，通过视觉编码器提取面部情绪特征，结合MLLM生成的情境描述，经S3Attention模块融合时空特征后同步预测个体/群体/情境情绪。基准测试表明，引入S3Attention可使监督模型性能提升45个百分点，建议研究者重点关注跨模态特征融合与长序列注意力机制优化。

背景与挑战

背景概述

VGAF-GEMS数据集是由Kroop AI、IIT Ropar、Curtin University和Monash University的研究团队于2025年提出的一个多模态群体情感分析基准数据集。该数据集基于VGAF数据集扩展而来，旨在通过细粒度的个体情感标注、群体情感标签以及情境情感分析，全面捕捉多人社交场景中的情感动态。VGAF-GEMS包含4,183个视频样本，涵盖10种不同的社交场景类型，如争吵、聚会、运动等，并提供了离散和连续情感标签（包括效价和唤醒度）。这一数据集的提出填补了现有群体情感分析研究中缺乏时间动态和情境上下文信息的空白，为情感计算、社交互动分析等领域提供了重要的研究基础。

当前挑战

VGAF-GEMS数据集面临的挑战主要体现在两个方面：首先，在领域问题层面，该数据集旨在解决多人社交场景中从个体到群体再到情境的多层次情感分析问题，其核心挑战在于如何建模个体情感与群体情感之间的复杂动态关系，以及如何准确捕捉情境上下文对情感表达的影响。其次，在构建过程中，研究团队面临视频数据标注的复杂性挑战，包括如何处理视频中的频繁镜头切换、快速动作序列以及多事件复杂情境；同时，半自动标注策略虽然提高了效率，但也带来了标注一致性和准确性的挑战，需要通过人工校验来确保标注质量。此外，数据集中个体情感表达的多样性与群体情感的一致性之间的平衡也是一个重要的挑战。

常用场景

经典使用场景

VGAF-GEMS数据集在群体情感分析领域具有广泛的应用价值，尤其在多模态情境下的情感理解任务中表现突出。该数据集通过密集标注的个体、群体和情境情感标签，为研究者提供了一个全面的情感分析平台。其经典使用场景包括对复杂社交互动视频中的情感动态进行建模，例如在庆祝派对、争吵或会议等情境中，捕捉个体情感如何聚合为群体情感，以及情境背景如何影响情感表达。

解决学术问题

VGAF-GEMS数据集有效解决了群体情感分析中的多个关键学术问题。首先，它填补了现有数据集中缺乏时间动态和情境上下文信息的空白，使得研究者能够更准确地分析情感在时间维度上的演变。其次，通过融合视觉、语言和上下文信息，该数据集支持对情感的多模态理解，解决了单一模态分析中的局限性。此外，其细粒度的情感标注（包括离散和连续情感维度）为情感计算的深入研究提供了丰富的数据基础。

实际应用

VGAF-GEMS数据集在实际应用中展现出广泛潜力。在教育领域，可用于自动分析课堂中学生群体的参与度和情感状态，为教师提供实时反馈。在安防监控中，能够检测公共场所的群体情绪异常，及时预警潜在冲突。此外，该数据集还可用于社交媒体分析，帮助品牌理解消费者对营销活动的群体情感反应，或用于事件总结，自动生成带有情感色彩的活动摘要。

数据集最近研究

最新研究方向

随着多模态情感计算技术的快速发展，VGAF-GEMS数据集为群体情感分析领域带来了新的研究视角。该数据集通过融合视觉、语言和情境信息，实现了从个体情绪到群体情感的细粒度分析。当前研究热点集中在基于Transformer架构的多模态融合方法，特别是如何利用S3Attention机制捕捉时空动态特征，以解决传统方法在复杂社交场景中情感传递的建模难题。VGAF-GEMS的推出推动了情感计算从静态图像向视频时序分析的范式转变，其密集标注策略为教育评估、智能监控等应用场景提供了更丰富的数据支撑。

相关研究论文

• Gems: Group Emotion Profiling Through Multimodal Situational Understanding

  Curtin University · 2025年