tartuNLP/reddit-anhedonia

PRIMATE数据集专注于心理健康领域的兴趣或愉悦感缺失（anhedonia）的检测。通过心理健康专业人员的重新标注，该数据集提供了更精细的标签和文本证据，识别了大量假阳性案例，从而为anhedonia检测提供了更高质量的测试集。该研究强调了在心理健康数据集中解决标注质量问题的必要性，并倡导改进方法以提高NLP模型在心理健康评估中的可靠性。数据集的使用需要先获取PRIMATE数据集，并通过提供的代码进行标签映射。数据集的创建过程包括从PRIMATE数据集中提取Reddit帖子，并由心理健康专业人员进行标注。数据集仅包含标签，不包含原始帖子内容。

Focusing on the PRIMATE dataset, our study reveals concerns regarding annotation validity, particularly for the lack of interest or pleasure symptom. Through re-annotation by a mental health professional, we introduce finer labels and textual spans as evidence, identifying a notable number of false positives. Our refined annotations offer a higher-quality test set for anhedonia detection. This study underscores the necessity of addressing annotation quality issues in mental health datasets, advocating for improved methodologies to enhance NLP model reliability in mental health assessments.

原始信息汇总

PRIMATE 数据集概述

数据集描述

数据集概要

• 主题: 关注PRIMATE数据集中的注释有效性问题，特别是缺乏兴趣或愉悦症状的注释。
• 改进: 通过精神健康专业人员的重新注释，引入更精细的标签和文本跨度作为证据，识别出大量误报。
• 目的: 提供更高质量的测试集用于检测快感缺乏（anhedonia），强调在精神健康数据集中解决注释质量问题的必要性。

使用数据集

• 数据集文件: 将primate_dataset.json文件放入脚本所在文件夹。
• 代码示例: 使用Python代码将数据集标签映射到PRIMATE数据集的帖子。

语言

• 语言: 英语

数据集结构

数据实例

• 示例: json { "primate_id": 1394, "answerable": 0, "mentioned": 1, "writer_symptom": 1, "quote": [ [ 1537, 1710 ] ] }

数据字段

• 信息待补充

数据分割

• 信息待补充

数据集创建

源数据

• 来源: 从PRIMATE数据集中提取Reddit帖子。
• 获取方式: 需同意PRIMATE数据集的条款和条件，并按照指定流程获取。

注释

• 注释过程: 精神健康专业人员阅读所有帖子并标记快感缺乏症状的存在。
• 注释标签:
  • "mentioned": 症状在文本中提及，但无法推断其持续时间或强度。
  • "answerable": 有明确的快感缺乏证据。
  • "writer_symptom": 作者讨论自己或第三人的症状。
• 注释者: 第二作者，同时也是临床心理学实习生。

个人信息和敏感信息

• 信息保护: 不发布任何帖子，仅发布注释结果。

数据使用注意事项

偏见讨论

• 局限性: 手动注释的解释作为临床评估Reddit帖子标记为抑郁的代理。
• 注释者单一性: 仅由一名精神健康专业人员进行注释，无法进行注释者间一致性分析。
• 标签局限性: 二元标签可能不适用于症状存在与缺失差异不明显的情况，建议使用Likert量表。

引用信息

• 引用: 如在研究中使用，请引用相关论文。

搜集汇总

数据集介绍

构建方式

tartuNLP/reddit-anhedonia数据集的构建，源于对PRIMATE数据集中Reddit帖子的精细标注。由一位心理健康专业人士对帖子进行重注，引入了更细粒度的标签和文本跨度作为证据，识别了大量假阳性案例。这种经过优化的标注过程，提供了更高质量的测试集，以供检测抑郁症中的快感缺失症状。

使用方法

在使用该数据集时，用户需要先获取PRIMATE数据集，并将其文件放置于脚本同一目录下。通过载入tartuNLP/reddit-anhedonia数据集，并使用提供的函数将PRIMATE数据集中的帖子标题和内容映射到当前数据集的实例中，进而进行相关模型的训练和评估。

背景与挑战

背景概述

tartuNLP/reddit-anhedonia数据集，专注于心理健康领域，由Tartu NLP团队研发，旨在解决抑郁症诊断中的anhedonia（兴趣或愉悦感的丧失）症状识别问题。该数据集的创建背景源于对PRIMATE数据集注释有效性的关注，尤其是针对anhedonia症状的标注。通过心理健康专业人士的重新标注，该数据集提供了更精细的标签和文本跨度作为证据，从而提高了anhedonia检测的测试集质量。该研究强调了在心理健康数据集中解决注释质量问题的必要性，并倡导改进方法以增强NLP模型在心理健康评估中的可靠性。

当前挑战

该数据集面临的挑战主要包括：1) 针对anhedonia症状的精确识别，由于症状表述的主观性和多样性，使得自动识别具有一定的难度；2) 数据集构建过程中，注释质量的一致性保证，由于仅由一位心理健康专业人士进行重新标注，缺乏多标注者之间的共识，可能导致注释偏差；3) 症状表达的差异性，不同年龄和背景的人群在表达anhedonia症状时存在差异，这为模型的泛化能力提出了挑战。

常用场景

经典使用场景

在自然语言处理与心理健康研究的交叉领域，tartuNLP/reddit-anhedonia数据集提供了一个专注于Reddit帖子的精细标注资源，用于检测抑郁症中的快感缺失症状。该数据集通过心理健康专业人士的再标注，提供了细粒度的标签和文本跨度作为证据，从而在构建和评估心理健康评估模型时，成为了一个高质量测试集的经典使用案例。

解决学术问题

该数据集解决了标注质量问题，这在心理健康数据集中至关重要。通过对原始数据进行再标注，tartuNLP/reddit-anhedonia数据集为学术界提供了一个更为可靠的资源，以改进自然语言处理模型在心理健康评估中的准确性和可靠性，对于推动相关研究的进展具有显著意义和影响。

实际应用

在实践应用方面，tartuNLP/reddit-anhedonia数据集可用于开发自动化的心理健康监测工具，这些工具能够通过分析社交媒体上的帖子来识别和干预可能的心理健康问题，有助于提高心理健康服务的可及性和效率。

数据集最近研究

最新研究方向

tartuNLP/reddit-anhedonia数据集聚焦于精神健康领域，尤其是抑郁症的亚症状——情感麻木（anhedonia）。该研究通过心理健康专业人士的重新标注，引入了更细粒度的标签和文本跨度作为证据，识别了大量误报案例，从而提供了质量更高的测试集用于情感麻木检测。该研究强调了在精神健康数据集中解决标注质量问题的重要性，并倡导改进方法学以提升NLP模型在心理健康评估中的可靠性。