OMG-Emotion Dataset

OMG-Emotion Dataset是由德国汉堡大学信息学系知识技术部创建的一个多模态情感表达识别数据集。该数据集包含567个来自YouTube的视频，总计7371个视频片段，每个片段平均时长为8秒，总时长约15小时。数据集通过特定的搜索策略和过滤确保了情感表达的逐渐过渡，每个视频片段由至少五名独立标注者使用Amazon Mechanical Turk工具进行标注。OMG-Emotion Dataset旨在通过提供丰富的情感行为分类标注，促进长期情感分类的研究，特别是在神经模型的发展上，以解决情感识别中的连续性和上下文相关性问题。

The OMG-Emotion Dataset is a multimodal emotion expression recognition dataset developed by the Knowledge Technology Department of the Department of Informatics, University of Hamburg, Germany. This dataset includes 567 videos sourced from YouTube, totaling 7371 video clips with an average duration of 8 seconds per clip and an overall duration of approximately 15 hours. The dataset adopts specific search strategies and filtering protocols to ensure gradual transitions in emotional expressions, and each video clip was annotated by at least five independent annotators via the Amazon Mechanical Turk platform. The OMG-Emotion Dataset aims to promote research on long-term emotion classification, particularly the development of neural models to address the issues of continuity and contextual correlation in emotion recognition, by providing rich annotated categories of emotional behaviors.

搜集汇总

数据集介绍

构建方式

在情感计算领域，捕捉情感随时间演变的动态特性是提升模型自然交互能力的关键。OMG-Emotion数据集的构建采用了系统化的采集与标注策略，以支持渐进式情感表达的研究。该数据集从YouTube平台精选了567个平均时长约一分钟的独白视频，通过基于特定关键词的自动化爬虫筛选，确保视频内容呈现情感在自然语境中的连续过渡。视频被分割为基于话语的片段，每个片段由至少五名独立标注者通过定制化的KT标注工具进行标注，标注过程中标注者可回顾先前片段的上下文信息，从而在唤醒度、效价及七类基本情感维度上提供多模态语境下的渐进式情感标注。

使用方法

为促进情感识别模型的公平比较与深入探索，该数据集提供了标准化的评估协议。研究可将数据划分为训练集与测试集，执行两项核心任务：基于最大投票策略的情感分类任务，采用F1分数评估模型性能；以及基于唤醒度与效价的回归任务，通过均方误差和一致性相关系数衡量模型对连续情感维度的预测能力。数据集支持单模态与多模态实验设计，例如利用音频特征、视觉神经网络或文本嵌入进行基准测试，鼓励研究者开发能够整合时序上下文信息的深度或循环神经网络模型，以推动渐进式情感计算的前沿发展。

背景与挑战

背景概述

情感计算领域长期致力于通过计算模型识别和理解人类情感表达，然而传统研究多聚焦于瞬时情感分类，忽略了情感在时间维度上的动态演变。在此背景下，汉堡大学知识技术研究团队于2018年推出了OMG-Emotion数据集，旨在解决长时程情感识别中的上下文建模问题。该数据集创新性地采用渐进式情感标注策略，从YouTube平台精选了567段单人独白视频，通过亚马逊众包平台获取了超三万条多模态标注，涵盖了唤醒度、效价及七类基本情感维度。其核心贡献在于突破了传统数据集的瞬时情感分类范式，为基于深度神经网络的长时情感建模提供了首个面向真实场景的渐进情感演化基准，显著推动了多模态情感识别向时序化、语境化方向发展。

当前挑战

OMG-Emotion数据集所针对的长时程渐进情感识别任务，本身面临多重挑战：情感表达具有高度主观性和连续性，传统基于离散分类或瞬时片段的方法难以捕捉其动态演变规律；多模态信息（视觉、语音、文本）的异步性与互补性融合亦构成算法设计的核心难点。在数据集构建过程中，研究团队需克服真实场景数据的异质性挑战，包括视频光照、角度、音质的多变性问题；为确保情感演化的自然性与连续性，需设计严格的视频筛选流程与语音分割算法。此外，标注过程需平衡主观差异性，通过设计上下文感知的标注工具与加权估计算法建立可靠标注标准，这些步骤均对数据质量与算法评估提出了更高要求。

常用场景

经典使用场景

在情感计算领域，OMG-Emotion数据集被广泛用于研究渐进式情感识别模型。该数据集通过收集YouTube独白视频，捕捉情感在时间维度上的自然演变过程，为研究者提供了丰富的上下文信息。其经典应用场景包括训练深度神经网络和循环神经网络，以模拟人类对连续情感表达的感知能力，尤其在多模态情感分析中，该数据集能够有效评估模型在音频、视觉和文本模态上的融合性能。

解决学术问题

OMG-Emotion数据集解决了情感识别研究中长期存在的关键问题，即传统数据集多侧重于瞬时情感分类，缺乏对情感渐进变化的建模。该数据集通过标注随时间演变的情感表达，为学术界提供了研究上下文感知情感模型的基准。其意义在于推动了从静态分类向动态情感理解范式的转变，促进了多模态神经网络在真实场景中的应用，为情感计算领域带来了更贴近人类感知的评估标准。

实际应用

在实际应用中，OMG-Emotion数据集为智能交互系统提供了重要的训练资源。例如，在虚拟助手、情感机器人和在线教育平台中，该数据集可用于开发能够理解用户情感变化并做出适应性反馈的系统。其基于真实世界视频的渐进情感标注，有助于提升系统在自然对话中的情感感知准确性，为人机交互的流畅性和自然性奠定了数据基础。

数据集最近研究

最新研究方向

在情感计算领域，OMG-Emotion数据集以其独特的渐进式情感标注策略，推动了长时序情感识别研究的前沿发展。当前研究聚焦于多模态融合模型，结合视觉、音频和文本信息，以捕捉情感在上下文中的动态演变过程。热点方向包括利用深度递归神经网络和自组织网络，提升模型对情感连续变化的感知能力，同时探索跨模态注意力机制，以增强对自然场景中复杂情感表达的解析精度。该数据集的应用促进了人机交互系统的情感智能发展，为心理健康监测和社交机器人等实际场景提供了更细腻的情感分析基础。

相关研究论文

• The OMG-Emotion Behavior Dataset

  信息学系知识技术部 · 2018年