SEMAINE

Name: SEMAINE
Creator: OpenDataLab
Published: 2022-08-16T17:48:22+08:00

OpenDataLab2026-07-12 更新2024-05-09 收录

人机交互

情感识别

数据链接：

https://opendatalab.org.cn/OpenDataLab/SEMAINE 数据链接链接失效反馈

官方服务：

资源简介：

SEMAINE 视频数据集包含自发数据，捕捉人类与扮演具有四种人格的化身角色的操作员之间的视听交互：Poppy（快乐）、Obadiah（忧郁）、Spike（愤怒）和 Prudence（务实）。视听序列以 25 fps（352 x 288 像素）的视频速率录制。该数据集由人类与扮演代理（敏感人工代理）角色的操作员之间的视听交互组成。 SEMAINE 视频剪辑已标注了几个认知状态，例如同意、感兴趣、确定、专注和深思熟虑，连续评分（在 [1,-1] 范围内），其中 -1 表示最负面的评分（即：没有专注于全部）和 +1 定义最高（最集中）。在 Solid SAL 场景中使用了 24 个记录会话。录制由用户和操作员共同完成，每个录制会话中通常有四个角色交互，总共提供 95 个角色交互和 190 个视频片段。

The SEMAINE video dataset contains spontaneous data capturing audiovisual interactions between humans and operators acting as embodied agents with four distinct personalities: Poppy (joyful), Obadiah (melancholic), Spike (angry), and Prudence (pragmatic). Audiovisual sequences are recorded at a frame rate of 25 fps (352 × 288 pixels). This dataset comprises audiovisual interactions between human participants and operators portraying the roles of sensitive artificial agents. SEMAINE video clips have been annotated with multiple cognitive states including agreement, interest, certainty, focus, and deliberation, using continuous scores within the range of [-1, 1]. Specifically, a score of -1 represents the most negative rating (i.e., no focus whatsoever), while +1 denotes the highest and most concentrated level. Twenty-four recording sessions were employed in the Solid SAL scenario. Recordings were conducted jointly by users and operators. Each recording session typically includes four role-based interactions, yielding a total of 95 role-based interactions and 190 video clips.

提供机构：

OpenDataLab

创建时间：

2022-08-16

搜集汇总

数据集介绍

构建方式

SEMAINE数据集的构建基于多模态情感分析的需求，通过从SEMAINE项目中收集的实时对话数据来实现。该数据集涵盖了多种情感状态，包括愉悦、悲伤、愤怒等，并通过语音、面部表情和文本等多模态信息进行标注。数据采集过程中，参与者在自然对话环境中进行交流，确保数据的多样性和真实性。此外，数据集还包含了对话的上下文信息，以支持更复杂的情感分析任务。

特点

SEMAINE数据集的显著特点在于其多模态性和实时性。数据集不仅包含了丰富的情感标注，还结合了语音、面部表情和文本等多种信息源，为研究者提供了全面的情感分析素材。此外，数据集的实时性使得研究者能够模拟和分析动态情感变化，这对于开发情感识别和响应系统具有重要意义。数据集的高质量和多样性也使其成为情感计算领域的重要资源。

使用方法

SEMAINE数据集适用于多种情感分析和计算任务，包括但不限于情感识别、情感跟踪和情感生成。研究者可以通过分析语音特征、面部表情变化和文本内容来构建和验证情感模型。此外，数据集的上下文信息可以用于开发更复杂的情感推理系统。为了充分利用该数据集，研究者需要具备一定的多模态数据处理能力，并结合相关领域的算法和工具进行深入分析。

背景与挑战

背景概述

SEMAINE数据集，由欧盟资助的SEMAINE项目于2009年创建，旨在推动情感计算和多模态交互的研究。该项目由多个欧洲研究机构和大学共同参与，包括英国的布里斯托大学和德国的马克斯·普朗克研究所。SEMAINE数据集的核心研究问题是如何在实时对话系统中准确识别和响应用户的情感状态。该数据集包含了多模态数据，如语音、面部表情和文本，为研究者提供了一个全面的平台来探索情感识别和交互技术。其影响力在于推动了情感计算领域的发展，并为后续的多模态数据集研究奠定了基础。

当前挑战

SEMAINE数据集在构建和应用过程中面临多项挑战。首先，多模态数据的同步和整合是一个复杂的问题，需要精确的时间戳和数据对齐技术。其次，情感识别的准确性受到多种因素的影响，如环境噪声、用户个体差异和情感表达的多样性。此外，实时情感响应系统的设计和实现也是一个技术难题，要求系统能够在短时间内处理大量数据并作出适当的反应。这些挑战不仅影响了数据集的构建质量，也限制了其在实际应用中的效果和普及。

发展历史

创建时间与更新

SEMAINE数据集创建于2009年，由欧盟资助的SEMAINE项目启动，旨在研究情感计算和多模态交互。该数据集在2012年进行了首次公开发布，随后在2014年进行了更新，增加了更多的情感标注和多模态数据。

重要里程碑

SEMAINE数据集的重要里程碑包括其在2012年的首次公开发布，这一事件标志着情感计算领域的一个重要进展，为研究人员提供了丰富的多模态情感数据。2014年的更新进一步扩展了数据集的规模和多样性，增强了其在情感识别和交互系统中的应用价值。此外，SEMAINE数据集在多个国际会议和期刊上被广泛引用，成为情感计算研究的基础资源之一。

当前发展情况

当前，SEMAINE数据集已成为情感计算和多模态交互研究的重要基石，广泛应用于情感识别、人机交互和心理健康监测等领域。其丰富的情感标注和多模态数据为算法开发和模型训练提供了宝贵的资源。随着人工智能和情感计算技术的不断进步，SEMAINE数据集的影响力持续扩大，推动了相关领域的技术创新和应用拓展。

发展历程

SEMAINE数据集首次发表，由欧盟资助的SEMAINE项目团队发布，旨在研究情感交互系统。
2009年
SEMAINE数据集首次应用于情感识别和交互系统的研究，展示了其在情感计算领域的潜力。
2010年
SEMAINE数据集的重要里程碑，项目团队发布了数据集的扩展版本，增加了更多的情感标注和多模态数据。
2012年
SEMAINE数据集在多个国际会议上被广泛引用和讨论，成为情感计算领域的重要参考数据集。
2014年

常用场景

经典使用场景

在情感计算领域，SEMAINE数据集被广泛用于情感识别和情感交互的研究。该数据集包含了多模态的情感表达数据，包括语音、面部表情和文本信息，为研究人员提供了一个全面的情感分析平台。通过分析这些数据，研究者可以开发和验证情感识别算法，从而实现更自然的人机交互。

衍生相关工作

基于SEMAINE数据集，许多经典的研究工作得以展开。例如，有研究者利用该数据集开发了多模态情感识别模型，显著提高了情感识别的准确率。此外，SEMAINE数据集还激发了关于情感交互机制的深入探讨，推动了情感计算理论的发展。这些衍生工作不仅丰富了情感计算的研究内容，还为实际应用提供了强有力的技术支持。

数据集最近研究

SEMAINE

资源简介：

相关数据集