Human-interaction-based Emotion Forecasting (Hi-EF)

Hi-EF数据集由复旦大学开发，专注于基于人际交互的情感预测任务。该数据集包含3069个多层次情境交互样本，每个样本包含丰富的情感相关标签和三种模态信息。数据集的创建过程包括候选样本生成、异常检测和多方面辅助的可靠标注。Hi-EF数据集主要应用于情感计算领域，旨在通过分析交互情境中的情感动态，预测未来情感状态，为情感管理和支持提供新的工具和方法。

The Hi-EF dataset, developed by Fudan University, focuses on the task of interpersonal interaction-based emotion prediction. It comprises 3069 multi-level situational interaction samples, each carrying abundant emotion-related labels and three modalities of information. The construction process of the Hi-EF dataset includes candidate sample generation, anomaly detection, and multi-faceted auxiliary reliable annotation. The Hi-EF dataset is mainly applied in the field of affective computing, aiming to predict future emotional states by analyzing emotional dynamics in interactive scenarios, thereby providing novel tools and methods for emotion management and support.

原始信息汇总

Hi-EF: Benchmarking Emotion Forecasting in Human-interaction

数据集概述

• 名称: Hi-EF
• 主题: 人类交互中的情感预测基准

数据集内容

• 包含数据集、样本展示和方法流程图

数据集访问

• 数据集已开放访问，链接为：https://drive.google.com/drive/folders/1VvyU4SCmB7ATpcgbLGPVRTtLwweIFYDk?usp=drive_link

搜集汇总

数据集介绍

构建方式

基于双方互动的情感预测（Hi-EF）数据集的构建采用了两阶段策略。首先，从电视节目中收集原始视频并生成候选视频片段，然后应用面部检测和情感识别模型筛选出情感相关的片段。为了确保数据质量，数据集采用了三重标注流程，包括众包标注、专业标注和教授复审，以确保标注的准确性和一致性。此外，为了减少数据泄露的风险，数据集采用了特定的分割方法，避免了在训练集和测试集中出现重叠的片段。

特点

Hi-EF数据集具有以下特点：1）多模态信息：每个视频片段都包含视频、文本和音频三种模态，从而更好地评估参与者的情绪状态；2）强交互场景：视频片段来源于高度互动的场景，确保了足够的数据量；3）多层语境信息：数据格式包括三层语境信息：语境信息、一方当前的的情绪状态和另一方需要预测的情绪状态。

使用方法

使用Hi-EF数据集进行情感预测任务时，可以采用以下方法：1）理解语境信息：利用视频、音频和文本信息，理解交互的背景和补充数据；2）识别一方当前的的情绪状态：通过分析面部表情、身体姿态和场景信息，评估一方的情绪状态；3）预测另一方未来的情绪：结合语境信息和一方当前的的情绪状态，预测另一方未来的情绪状态。此外，Hi-EF数据集还可以应用于其他情感计算任务，如动态面部表情识别、多模态情感识别、多标签分类和对话中的情感识别等。

背景与挑战

背景概述

情感预测，作为心理学中预测个体未来情感的研究方向，通常受到众多外部因素的影响，如社会影响和时间距离。为了解决这个问题，我们将情感预测转化为一个深度学习问题，通过设计一个基于双方交互的情感预测范式。我们提出了一种新的情感预测（EF）任务，该任务基于这样一个理论：个体的情感容易受到与另一个人交互过程中传达的情感或其他信息的影响。为了应对这个任务，我们开发了一个专门的数据库，名为基于人际交互的情感预测（Hi-EF），该数据库包含3069个双方多层上下文交互样本（MCIS），具有丰富的情感相关标签和三种模态。Hi-EF不仅证明了EF任务的可行性，还突出了其潜力。此外，我们提出了一种方法，为EF任务建立了基础和参考基线模型，并提供了广泛的实验。数据集和代码可在以下位置获得。

当前挑战

Hi-EF数据集的构建过程中遇到了以下挑战：1) 多模态信息融合：通过分析面部表情、对话内容和语音语调，我们可以更好地评估一个人的情感，从而能够更准确地预测另一方可能体验到的情感。2) 强交互场景：视频应来自高度交互的场景，以便为数据集提供足够数量的交互数据。3) 多层上下文信息：数据格式需要包括三层上下文信息：上下文信息、一方的当前情感状态以及需要预测的另一方情感。为了满足这些严格的数据收集标准，我们制定了一个全面的分阶段策略来获取足够的候选MCIS。此外，我们还实施了一个可靠的三轮标注过程，以确保高质量的情感信息标签，以确保情感被高质量地标注。对于具有挑战性的EF任务，我们提出了基线方法，并进行了全面的实验，以证明EF任务的可行性。此外，还提供了其他情感计算任务的更多实验。

常用场景

经典使用场景

基于人际互动的情感预测，如预测在两人互动中一方的未来情感。

衍生相关工作

衍生了基于人际互动的情感预测任务，如预测在两人互动中一方的未来情感。

数据集最近研究

最新研究方向

在情感计算领域，Human-interaction-based Emotion Forecasting (Hi-EF) 数据集的提出为情感预测研究开辟了新的方向。该数据集基于双方互动的理论，通过分析个体的情绪如何受到他人情绪或其他信息的影响，来预测未来情感。Hi-EF 数据集包含 3069 个多层次的交互样本，具有丰富的情感相关标签和三种模态。该数据集不仅证明了情感预测任务的可行性，还突出了其在个体情绪建模、拟人化情感生成等方面的应用潜力。此外，Hi-EF 数据集还可以用于其他情感计算任务，如动态面部表情识别、多模态情感识别和对话情感识别。未来研究可以进一步扩展 Hi-EF 数据集，测试更多模型，并不断提供实验结果，以推动情感计算领域的发展。

相关研究论文

• Hi-EF: Benchmarking Emotion Forecasting in Human-interaction

  复旦大学 · 2024年