PerceptSent

PerceptSent是一个新颖的视觉情感分析数据集，包含5000张来自社交网络用户的图片。数据集不仅记录了每位评估者对每张图片的情感意见（正面、略正面、中性、略负面、负面），还包括评估者的元数据（年龄、性别、社会经济地位、教育和心理提示）以及评估者观察到的图片特征（如自然、暴力、缺乏维护等）。

PerceptSent is a novel visual sentiment analysis dataset comprising 5,000 images sourced from social network users. The dataset not only documents the emotional opinions (positive, slightly positive, neutral, slightly negative, negative) of each evaluator for every image but also includes evaluators' metadata (age, gender, socioeconomic status, education, and psychological cues) as well as the image features observed by the evaluators (such as naturalness, violence, lack of maintenance, etc.).

原始信息汇总

PerceptSent 数据集概述

数据集描述

PerceptSent 是一个专为视觉情感分析设计的新颖数据集，包含5,000张来自社交网络用户的图片。该数据集不仅记录了每位评估者对每张图片的情感意见（积极、略积极、中性、略消极、消极），还包含了评估者的元数据（年龄、性别、社会经济状态、教育水平、心理提示）以及评估者对图片的感知描述，如自然存在、暴力、维护不足等。

数据集特点

• 规模: 5,000张图片
• 情感分类: 五类情感评分（积极、略积极、中性、略消极、消极）
• 元数据: 评估者的个人信息和心理状态
• 感知描述: 图片内容的特定感知描述

研究应用

使用深度架构和不同的问题表述，结合视觉和额外属性（外部知识）进行自动情感分析。研究表明，正确利用评估者的感知在视觉情感分析中至关重要，能显著提高F-score性能，从61%提升至超过97%。

关键词

• 视觉情感分析
• 主观感知
• 深度网络
• 新颖数据集

搜集汇总

数据集介绍

构建方式

PerceptSent数据集的构建基于社交媒体上用户分享的5000张图像，每张图像由多位评估者进行情感标注，标注内容包括情感倾向（如积极、轻微积极、中性、轻微消极、消极）以及评估者的元数据（如年龄、性别、社会经济地位、教育背景和心理暗示）。此外，评估者还需记录对图像的感知，如自然、暴力、维护缺失等。这种多维度的标注方式旨在捕捉视觉情感分析中的主观感知，为神经符号系统提供基础。

特点

PerceptSent数据集的特点在于其丰富的标注信息，不仅包含图像的情感标签，还涵盖了评估者的背景信息及其对图像的感知。这种多层次的标注结构使得该数据集能够支持视觉情感分析中视觉属性与外部知识的结合。通过实验验证，评估者的感知信息在情感分析中具有重要作用，能够显著提升模型的F-score性能，从61%提升至97%以上。

使用方法

使用PerceptSent数据集时，用户需首先通过GitHub克隆项目代码，并配置相应的Python环境。数据集下载后，可通过运行`main.py`脚本进行模型训练与测试。数据集的使用不仅限于传统的视觉情感分析任务，还可用于探索评估者感知对情感分析的影响。用户可通过调整模型架构和问题定义，结合视觉属性与评估者感知，进一步提升情感分析的准确性。

背景与挑战

背景概述

PerceptSent数据集由C. Lopes、R. Minetto、M. Delgado和T. Silva等研究人员于2022年提出，旨在填补视觉情感分析领域中对观众主观感知研究的空白。该数据集包含5000张来自社交网络的图像，每张图像均附有评估者的情感意见（如积极、轻微积极、中性、轻微消极、消极）及其元数据（如年龄、性别、社会经济地位、教育背景和心理暗示）。此外，数据集还记录了评估者对图像的感知（如自然、暴力、缺乏维护等）。通过结合视觉属性和外部知识，PerceptSent为自动情感分析提供了新的研究方向，显著提升了F-score性能，从61%提升至97%以上。该数据集的研究成果发表在IEEE Transactions on Affective Computing上，为视觉情感分析领域开辟了新的研究路径。

当前挑战

PerceptSent数据集在构建和应用过程中面临多重挑战。首先，视觉情感分析本身具有高度主观性，不同评估者对同一图像的情感反应可能存在显著差异，如何有效捕捉并量化这些主观感知成为核心难题。其次，数据集的构建依赖于大量人工标注，评估者的元数据和感知信息的收集与整合过程复杂且耗时。此外，尽管数据集展示了结合视觉属性和外部知识对情感分析的显著提升，但目前尚缺乏自动捕捉这些感知信息的方法，限制了其在实际应用中的广泛推广。如何开发高效的自动化工具以提取和利用这些感知信息，是未来研究的重要方向。

常用场景

经典使用场景

PerceptSent数据集在视觉情感分析领域中被广泛用于探索图像情感的主观感知。通过结合图像视觉属性和评估者的主观感知，研究者能够深入理解情感表达的多维度特性。该数据集特别适用于训练深度学习模型，以捕捉图像中隐含的情感信息，并分析不同背景的评估者对同一图像的情感反应差异。

解决学术问题

PerceptSent数据集解决了传统视觉情感分析中忽视主观感知的问题。通过引入评估者的元数据（如年龄、性别、社会经济地位等）及其对图像的感知（如自然、暴力等），该数据集为神经符号系统的研究提供了新的视角。研究表明，正确利用这些感知信息，能够显著提升情感分析的准确性，F-score从61%提升至97%以上，为情感计算领域的突破性进展奠定了基础。

衍生相关工作

PerceptSent数据集的发布推动了多模态情感分析领域的研究。基于该数据集，许多经典工作探索了如何将视觉属性与外部知识相结合，以提升情感分析的性能。例如，一些研究提出了新的深度学习架构，用于融合图像特征和评估者感知信息。此外，该数据集还激发了关于主观感知在情感计算中作用的理论研究，为未来的跨学科研究提供了丰富的实验数据。