K-EmoCon

K-EmoCon是由韩国科学技术院创建的多模态传感器数据集，旨在支持自然对话中的连续情绪识别。该数据集包含来自32名参与者的多模态测量数据，包括视听记录、EEG和外围生理信号，这些数据是从大约10分钟长的16个配对辩论中使用现成设备收集的。与以往的数据集不同，K-EmoCon包含了所有三种可用视角的情绪标注：自我、辩论伙伴和外部观察者。评判者在观看辩论录像时，每隔5秒对情绪表现进行标注，涉及唤醒-价态和18种额外的分类情绪。K-EmoCon是首个公开可用的情绪数据集，支持社会互动中情绪的多视角评估。

K-EmoCon is a multimodal sensor dataset developed by the Korea Advanced Institute of Science and Technology to support continuous emotion recognition in natural conversations. It comprises multimodal measurement data from 32 participants, including audiovisual recordings, EEG signals, and peripheral physiological signals, which were collected using off-the-shelf devices across 16 paired debates each lasting approximately 10 minutes. Unlike previous datasets, K-EmoCon includes emotion annotations from all three available perspectives: the participant themselves, their debate partner, and external observers. Annotators label emotional expressions every 5 seconds while reviewing the debate videos, covering the arousal-valence dimensions and 18 additional categorical emotion categories. K-EmoCon is the first publicly available emotion dataset that supports multi-perspective assessment of emotions in social interactions.

搜集汇总

数据集介绍

构建方式

在情感计算领域，自然情境下的情感数据采集一直面临挑战。K-EmoCon数据集的构建采用了一种创新的多模态方法，旨在捕捉真实社交互动中的连续情感表达。研究团队招募了32名参与者，将其随机配对进行16场关于社会议题的约10分钟辩论。数据采集过程中，参与者佩戴了多种商用可穿戴设备，包括Empatica E4腕带、Polar H7心率传感器和NeuroSky MindWave脑电图头戴设备，同步记录生理信号如心电图、脑电图、皮肤电活动等。同时，通过智能手机录制了辩论过程中的视听资料，捕捉面部表情、上体动作和语音。情感标注则采用了独特的多视角方法，每5秒间隔由参与者自身、辩论伙伴及外部观察者分别标注，涵盖唤醒度-效价维度及18种分类情感，确保了数据标注的全面性与深度。

特点

K-EmoCon数据集在情感识别研究中展现出显著特点。其核心优势在于首次整合了情感标注的三种视角：自我报告、互动伙伴感知和外部观察者评估，为研究情感感知差异提供了丰富维度。数据集包含多模态信号，如高采样率的生理数据（脑电图、心率、皮肤电活动等）与视听记录，支持对细微情感变化的分析。此外，数据采集于半结构化辩论场景，模拟了日常社交互动，情感表达更为自然自发，避免了实验室环境中可能出现的夸张或刻板情感。标注数据覆盖连续时间序列，每5秒间隔的标注使得情感动态追踪成为可能，同时标注类别包括维度情感和分类情感，增强了数据的适用性与研究灵活性。

使用方法

K-EmoCon数据集适用于情感计算、人机交互及心理学领域的多类研究。在使用时，研究者可首先访问Zenodo平台获取数据集，其中包含预处理后的生理信号CSV文件、辩论视听记录及情感标注文件。数据已进行时间同步处理，时间戳统一为UTC+0，并剔除了基线测量外的部分，便于直接分析。情感标注文件按视角（自我、伙伴、外部观察者）分类存储，支持多视角情感一致性或差异性的研究，例如通过计算Krippendorff's alpha评估标注者间信度。生理信号可与情感标注结合，用于开发多模态情感识别模型，探索生理标记与情感体验的关联。数据集中还提供了数据质量表，帮助用户评估信号完整性，确保分析可靠性。此外，数据集支持连续情感预测、社交互动中的情感误解分析，以及基于可穿戴设备的情感通信技术开发等应用。

背景与挑战

背景概述

情感计算领域长期致力于开发能够识别和理解人类情感的智能系统，以推动人机交互的自然化与智能化。然而，传统情感数据集多源于实验室环境下的诱发情感，其表达往往强烈且典型，难以捕捉真实社交互动中微妙且自发的情绪变化。为弥补这一研究空白，韩国科学技术院（KAIST）等机构的研究团队于2020年发布了K-EmoCon数据集。该数据集通过采集32名参与者在自然辩论场景中的多模态生理信号、视听记录及连续情感标注，首次实现了社交互动情境下自我、伙伴与外部观察者三重视角的情感标注，为探索真实世界中的情感动态提供了宝贵资源。

当前挑战

K-EmoCon数据集旨在解决自然对话中连续情感识别的核心挑战，即如何准确捕捉并标注真实社交互动中复杂且细微的情感状态。其构建过程面临多重困难：在数据采集方面，需协调多种商用可穿戴设备同步记录生理信号，并确保在动态辩论环境中维持信号质量，避免运动伪影等因素干扰；在情感标注层面，设计涵盖唤醒度、效价及18种分类情感的多维度标注体系，并整合三重视角以反映情感感知的主观差异，但标注结果呈现出显著的情感分布不平衡性，多数时刻的情感状态趋于中性，这为模型训练带来类别不均衡问题。此外，数据集的参与者群体以年轻、高学历的亚洲学生为主，可能限制其在不同人口统计学群体中的泛化能力。

常用场景

经典使用场景

在情感计算与人机交互领域，K-EmoCon数据集为研究自然对话中的连续情感识别提供了关键资源。该数据集通过采集真实社交互动场景下的多模态信号，包括音频视频记录、脑电图及外周生理数据，支持对自发情感的细致分析。其经典应用场景在于探索多视角情感标注的差异性，例如在辩论情境中，同时获取自我报告、伙伴观察和外部评估者的情感标注，为理解情感感知的复杂动态提供了实证基础。

解决学术问题

K-EmoCon数据集主要解决了情感识别研究中自然主义数据匮乏的学术难题。传统数据集多在受控实验室环境中收集，难以捕捉真实社交互动中微妙且多变的情绪表达。该数据集通过提供多视角连续情感标注，促进了情感基础真值建立方法的探讨，并支持研究情感感知中的个体差异与情境依赖性。其意义在于推动了情感计算向更贴近现实世界的应用场景延伸，为开发更具鲁棒性和泛化能力的情感识别模型奠定了数据基础。

衍生相关工作

围绕K-EmoCon数据集，已衍生出多项经典研究工作，主要集中在多模态情感融合与多视角标注的算法创新上。例如，研究者利用该数据集开发了基于深度学习的多源信号融合模型，以提升对自然对话中细微情感的识别精度。另有工作探讨了自我报告与观察者标注之间的不一致性，提出了新的情感标注一致性评估框架。这些研究不仅深化了对情感感知机制的理解，也为跨文化、跨情境的情感计算应用提供了方法论参考。