CovidET-Appraisals

CovidET-Appraisals数据集包含241个独特的Reddit帖子，每个帖子都标注了关于叙述者如何感受和看待他们所经历的情况的24个情感评估维度（例如，叙述者是否觉得他们所处的情境是他们可以控制的），以及以自然语言形式提供的判断理由。

The CovidET-Appraisals dataset comprises 241 unique Reddit posts, each annotated with 24 emotional appraisal dimensions (e.g., whether the narrator feels the situation they are in is within their control) regarding how the narrators feel and perceive the circumstances they have experienced, along with judgment reasons provided in natural language form.

原始信息汇总

数据集概述

1. 数据集名称

• CovidET-Appraisals

2. 数据集内容

• 数据来源：241个独特的Reddit帖子
• 标注内容：每个帖子都标注了关于24个情感评估维度的判断，以及自然语言形式的判断理由
• 特殊标注：其中40个帖子由两位标注者独立标注，用于评估标注一致性

3. 数据集用途

• 用于评估大型语言模型自动评估和解释认知评估的能力

4. 数据集结构

• 数据文件位置：位于"data"文件夹内

模型响应

1. 模型响应数据

• 响应文件位置：位于"./LLM_responses/Responses-Raw"文件夹
• 模型类型：GPT-3.5-turbo, Alpaca, Dolly, Flan-T5
• 响应处理：使用正则表达式清理响应，清理后的数据位于"./LLM_responses/Responses-Cleaned"文件夹

2. 模型评估

• 评估方法：对模型生成的响应进行五次不同初始化的采样，以确保模型比较的公平性

人类评估

1. 评估任务

• 对人类标注和模型生成的理由进行评估

2. 评估人员

• 评估者来自Amazon Mechanical Turk

3. 评估数据存储

• 评估结果记录在"Human_EVAL"文件夹中

搜集汇总

数据集介绍

构建方式

CovidET-Appraisals数据集的构建基于241篇独特的Reddit帖子，每篇帖子均标注了24个情感评估维度，涵盖了叙述者对其所处情境的主观认知评估。这些评估维度包括叙述者对情境的控制感等，并附有自然语言解释作为评估依据。为确保标注质量，其中40篇帖子由两位标注者独立标注，用于计算标注者间一致性。

使用方法

使用CovidET-Appraisals数据集时，研究人员可通过数据文件夹访问标注的Reddit帖子及其评估维度。模型响应数据位于“LLM_responses”文件夹中，包含原始响应和经过正则表达式清理的响应。人类评估数据则存储在“Human_EVAL”文件夹中，可用于验证模型生成解释的质量。该数据集为评估大型语言模型在情感认知评估任务中的表现提供了标准化的测试平台。

背景与挑战

背景概述

CovidET-Appraisals数据集由Hongli Zhan、Desmond C. Ong和Junyi Jessy Li等研究人员于2023年创建，旨在填补情感认知评估自动预测领域的空白。该数据集基于241篇Reddit帖子，评估了24个情感认知维度，并为每个维度提供了自然语言解释。这一数据集为评估大型语言模型在情感认知评估任务中的表现提供了理想的测试平台，推动了情感智能模型的进一步发展。CovidET-Appraisals的发布为心理学与自然语言处理领域的交叉研究提供了重要资源，尤其是在情感认知的主观评估方面，具有广泛的应用潜力。

当前挑战

CovidET-Appraisals数据集面临的挑战主要体现在两个方面。首先，情感认知评估本身具有高度主观性，同一情境可能引发不同的情感体验，这使得自动预测任务尤为复杂。其次，尽管大型语言模型在多种自然语言处理任务中表现出色，但在情感认知评估任务中，尤其是开源模型的表现仍显不足，揭示了情感智能模型开发中的技术瓶颈。此外，数据集的构建过程中，如何确保标注的一致性和解释的合理性也是一大挑战，尤其是在多维度情感评估的背景下，需要高水平的标注者参与和严格的标注流程设计。

常用场景

经典使用场景

CovidET-Appraisals数据集在情感计算和自然语言处理领域具有重要应用价值，尤其在评估大语言模型对情感认知评价的自动预测能力方面。该数据集通过241篇Reddit帖子，标注了24个情感评价维度，并提供了自然语言解释，为研究情感认知的主观评估提供了丰富的实验数据。

解决学术问题

CovidET-Appraisals填补了情感计算领域中对认知评价自动预测的研究空白。传统情感检测任务主要关注情感的生理表现，而该数据集通过引入认知评价维度，使研究者能够更深入地理解情感的主观性和多样性。这一数据集为开发更具情感智能的模型提供了新的挑战和方向。

实际应用

在实际应用中，CovidET-Appraisals数据集可用于提升情感智能系统的性能，特别是在心理健康支持、情感分析和人机交互等领域。通过分析用户的情感认知评价，系统能够更准确地理解用户的情感状态，从而提供个性化的情感支持和建议。

数据集最近研究

最新研究方向

在情感计算领域，CovidET-Appraisals数据集的发布为研究情绪认知评估提供了新的视角。该数据集通过分析241篇Reddit帖子，评估了24个情绪认知维度，并提供了自然语言解释，为大型语言模型在自动评估和解释情绪认知方面的能力提供了理想的测试平台。尽管现有模型在此任务上表现良好，但开源大型语言模型的表现仍显不足，这为未来开发更具情感智能的模型提出了新的挑战。CovidET-Appraisals不仅填补了情绪认知自动预测研究的空白，还为心理学和自然语言处理领域的交叉研究提供了宝贵的数据资源。