FindingEmo

该数据集包含25,869张图片，每张图片都标注了图片中主导的情绪，这些情绪标签基于普拉切克情绪轮的24种情绪分类。所有图片展示了在不同自然环境下、具有不同程度互动的多个人物。规模上，该数据集共有25,869张图片，其任务是对图片进行情绪识别。

This dataset comprises 25,869 images, each annotated with the dominant emotion depicted within it. The emotion labels are based on the 24 emotion categories defined in Plutchik's Wheel of Emotions. All images feature multiple human figures in diverse natural environments with varying levels of interaction between subjects. The core task of this dataset is image emotion recognition.

搜集汇总

数据集介绍

构建方式

在情感计算领域，FindingEmo数据集的构建过程体现了对复杂社交场景中整体情感识别的系统性探索。该数据集通过定制化的Python网络爬虫，从DuckDuckGo搜索引擎中采集了超过100万张初始图像，这些图像基于情感关键词、社交场景和人物描述三类词汇的随机组合查询获得。随后采用卷积神经网络对图像进行初步筛选，保留展现多人自然社交互动的场景。最终通过Prolific平台招募655名标注者，使用定制化网页界面完成标注工作。标注过程采用动态平衡机制，通过预测模型调整不同情感标签的呈现频率，以缓解数据分布不均问题。整个流程最终形成了包含25,869张图像标注的数据集，每张图像均标注了效价、唤醒度和普拉奇克情绪轮中的离散情绪标签。

特点

FindingEmo数据集的显著特征在于其突破了传统情感识别数据集的局限，将关注点从面部表情或单一个体扩展到复杂社交场景的整体情感氛围。该数据集包含的图像均描绘了多人在自然主义社交环境中的互动，要求标注者评估整个场景而非特定个体的情感状态。在标注维度上，创新性地融合了连续维度（效价和唤醒度）与离散分类（普拉奇克情绪轮的24种基础情绪），同时记录了年龄分布、情感判断依据和场景模糊度等元信息。数据分布虽仍存在“喜悦”和“期待”等情绪占比偏高的现象，但通过动态平衡机制，其不均衡程度较同类数据集已显著改善。这种多维度、场景化的标注体系为研究社会认知和上下文情感理解提供了独特视角。

使用方法

该数据集的使用需遵循其开放获取原则，研究者可通过论文提供的代码仓库获取图像URL列表和标注数据。由于版权限制，实际图像需根据URL自行下载。在模型开发阶段，建议采用论文中验证的迁移学习框架，将ImageNet预训练的经典架构（如VGG、ResNet等）最后一层替换为与任务匹配的输出层。对于情绪分类任务，可采用8类（情绪叶）或24类（基础情绪）的普拉奇克情绪轮体系；对于维度预测，可将效价和唤醒度分别划分为三个等级进行处理。进阶研究中可尝试多流融合技术，结合面部情感识别特征（如OIToFER）、场景特征（Places365）和专用情感模型（EmoNet）的预测结果，以提升复杂场景下的情感识别性能。数据集的私有测试集部分暂未公开，可用于未来挑战赛的评估。

背景与挑战

背景概述

在情感计算领域，传统研究多聚焦于面部表情或单一个体的情绪识别，然而现实场景中的情绪往往蕴含于复杂的社会互动与整体情境之中。为突破这一局限，鲁汶大学的研究团队于2024年推出了FindingEmo数据集，该数据集包含25,869张自然场景图像的标注，旨在推动高阶社会认知层面的情绪理解。其创新之处在于首次将标注目标从单一个体转向整体场景，捕捉多人在多样化社交环境中的集体情绪表达，标注维度涵盖效价、唤醒度与普拉奇克情绪轮分类。这一工作不仅拓展了情感识别的边界，也为心理学与人工智能的交叉研究提供了宝贵资源。

当前挑战

FindingEmo数据集所应对的核心挑战在于从复杂社会场景中识别整体情绪，这超越了传统上面向面部或单一个体的识别范式，要求模型理解人物互动、环境语境与群体动态的融合信息。在构建过程中，研究团队面临多重困难：首先，数据收集需确保图像呈现自然、多人的社交场景，避免摆拍或单一主体，为此开发了基于关键词组合的网络爬虫与卷积神经网络过滤机制；其次，标注一致性是一大难题，由于情绪本身具有主观性与语境依赖性，团队通过设计精细的标注界面、引入重叠图像评分机制以及动态平衡情绪类别分布，以提升标注质量与数据集的代表性。

常用场景

经典使用场景

在情感计算领域，传统数据集多聚焦于面部表情或单一个体的情感识别，而FindingEmo通过提供包含25,869张图像的大规模标注数据集，开创性地将研究视角扩展至复杂社交场景的整体情感分析。该数据集的核心使用场景在于训练和评估能够理解多人物互动、环境背景及社会情境的深度学习模型，尤其适用于探索上下文信息对情感识别的关键影响。其标注维度涵盖效价、唤醒度和普拉奇克情绪轮分类，为模型提供了从连续维度到离散类别的多层次监督信号，推动了场景级情感识别这一前沿方向的发展。

实际应用

在实际应用层面，FindingEmo为开发更智能、更情境感知的人机交互系统提供了关键数据支持。例如，在智能监控系统中，该数据集可用于训练模型识别公共场所中的群体情绪状态，以检测潜在冲突或异常事件；在社交媒体分析中，模型可自动评估用户上传图片的整体情感倾向，用于内容推荐或心理健康监测；此外，在辅助机器人或虚拟助手领域，系统能够通过理解场景情感更恰当地响应人类需求，提升交互的自然性与共情能力。这些应用均受益于数据集对真实世界复杂社交场景的覆盖。

衍生相关工作

自FindingEmo发布以来，其独特的场景级标注范式已启发多项后续研究。例如，有工作基于该数据集开发了多流融合神经网络，结合面部情感识别、场景特征与整体图像信息以提升分类性能；另有研究利用其标注探索效价与唤醒度预测中的模型不确定性量化问题。数据集也被用于跨模态情感分析，如结合文本描述增强图像情感理解的模型训练。此外，其构建方法——包括基于关键词的图像爬取、众包标注流程及质量控制机制——为后续大规模场景情感数据集的创建提供了可复用的技术框架，推动了领域内数据标准化进程。