EEV

EEV数据集是由加州理工学院和Google Research共同创建的大型视频数据集，专注于研究视频引发的观众表情反应。该数据集包含23,574个视频，总计1,700小时的内容，每个视频以6Hz频率标注了15种连续的引发表情标签。数据集通过使用表情识别模型在数据收集框架内实现可扩展性，共包含36.7百万个观众面部反应的标注。EEV数据集的应用领域包括视频内容理解和情感计算，旨在解决如何从视频内容直接预测观众面部表情的问题。

The EEV Dataset is a large-scale video dataset co-created by the California Institute of Technology (Caltech) and Google Research, focusing on investigating audience facial reactions triggered by video content. This dataset includes 23,574 videos with a total duration of 1,700 hours. Each video is annotated with 15 continuous emotion-eliciting labels at a sampling frequency of 6 Hz. The dataset achieves scalability by utilizing emotion recognition models within its data collection framework, and it contains a total of 36.7 million annotations of audience facial reactions. The application domains of the EEV Dataset cover video content understanding and affective computing, with the core goal of addressing the problem of directly predicting audience facial expressions from video content.

搜集汇总

数据集介绍

构建方式

EEV数据集采用了一种可扩展的方法来注释由视频内容引起的观看者表情。首先，通过关键词搜索在线视频语料库中获取公开的反应视频，这些视频展示了观看者观看另一个视频时的面部表情。然后，从反应视频描述中找到对应的内容视频。接下来，使用面部表情识别模型对反应视频中的观看者面部表情进行注释。最后，将反应视频中观看者的诱发表情与内容视频在各个时间戳上配对，从而生成内容视频的诱发表情标签。

使用方法

EEV数据集可用于研究视频引起的观看者情感反应，以及开发新的情感计算和视频分析模型。此外，诱发表情标签可用于搜索与特定表情相关的主题和视频，这对于心理学和情感计算实验中的面部表情激发实验非常有用。最后，通过研究不同主题中诱发表情的分布，可以帮助视频推荐系统更好地为用户推荐内容，并帮助视频内容创作者更好地理解视频中的情感刺激。

背景与挑战

背景概述

视频内容不仅包含语义信息，还蕴含着情感信息，理解视频的情感内容对于视频理解和情感计算领域至关重要。EEV 数据集（Evoked Expressions from Videos）是一个大规模的视频数据集，旨在研究观众对视频内容的情感反应。该数据集由加州理工学院和谷歌研究院的研究人员于 2021 年创建，包含 23,574 个视频，每个视频都被标注了 15 种连续的情感标签，对应于观看视频时观众的面部表情。EEV 数据集的创建为研究视频情感内容提供了重要的数据基础，并对视频理解和情感计算领域产生了深远的影响。

当前挑战

EEV 数据集面临着一些挑战。首先，观众的表情可能受到观众背景、外部环境和其他不在视频中的信息的影响，这给直接从一般视频预测观众反应带来了挑战。其次，EEV 数据集的标注是基于面部表情识别模型，而不是基于观众自我报告，这可能会引入一些误差。此外，EEV 数据集的标注频率为 6Hz，这对于一些研究来说可能不够精细。尽管存在这些挑战，EEV 数据集仍然是一个非常有价值的数据集，为研究视频情感内容提供了重要的数据基础。

常用场景

经典使用场景

EEV数据集为研究视频内容对观众情绪的影响提供了宝贵的资源。该数据集包含23,574个视频，每个视频都被以6Hz的频率标注了15种连续的情绪标签，对应于观看视频时观众的面部表情。EEV数据集的规模和多样性使其成为研究视频情感内容的重要工具，例如，可以用来预测视频对观众情绪的影响，从而帮助内容创作者和视频推荐系统更好地理解观众的情感反应。

解决学术问题

EEV数据集解决了以往情感视频内容分析数据集规模小、视频类型单一的问题。通过使用基于视频的模型对观众表情进行标注，EEV数据集实现了大规模标注，并包含多种类型的视频内容。这使得研究者可以更好地理解视频内容对观众情绪的影响，并探索视频情感内容分析的新问题。

实际应用

EEV数据集在实际应用中具有重要的价值。例如，内容创作者可以利用EEV数据集来了解不同类型的视频内容对观众情绪的影响，从而创作更具吸引力的内容。视频推荐系统可以利用EEV数据集来预测观众对视频的情绪反应，从而为观众推荐更符合其喜好的视频。此外，EEV数据集还可以用于心理学和情感计算领域的实验，例如，寻找能够引发特定面部表情的视频内容。

数据集最近研究

最新研究方向

EEV数据集的最新研究方向在于探索视频如何激发观众的情感反应。该数据集提供了丰富的视频内容，并标注了观众在观看视频时的连续面部表情，为研究情感计算和视频理解提供了重要的基础。最新的研究重点包括：1) 从视频内容直接预测观众面部表情，以及预测的准确性；2) 某些面部表情是否更容易预测；3) 视频主题与不同表情之间的对应关系。此外，EEV数据集的规模和多样性使其成为研究情感内容独特问题的理想平台，例如如何预测观众对视频的情感反应，以及视频主题与表情之间的关联性。研究人员还探索了基于EEV数据集的情感计算和视频分析模型，并取得了显著的进展。

相关研究论文

• EEV: A Large-Scale Dataset for Studying Evoked Expressions from Video

  加州理工学院 · 2021年