tartuNLP/reddit-anhedonia
收藏资源简介：
PRIMATE数据集专注于心理健康领域的兴趣或愉悦感缺失（anhedonia）的检测。通过心理健康专业人员的重新标注，该数据集提供了更精细的标签和文本证据，识别了大量假阳性案例，从而为anhedonia检测提供了更高质量的测试集。该研究强调了在心理健康数据集中解决标注质量问题的必要性，并倡导改进方法以提高NLP模型在心理健康评估中的可靠性。数据集的使用需要先获取PRIMATE数据集，并通过提供的代码进行标签映射。数据集的创建过程包括从PRIMATE数据集中提取Reddit帖子，并由心理健康专业人员进行标注。数据集仅包含标签，不包含原始帖子内容。
Focusing on the PRIMATE dataset, our study reveals concerns regarding annotation validity, particularly for the lack of interest or pleasure symptom. Through re-annotation by a mental health professional, we introduce finer labels and textual spans as evidence, identifying a notable number of false positives. Our refined annotations offer a higher-quality test set for anhedonia detection. This study underscores the necessity of addressing annotation quality issues in mental health datasets, advocating for improved methodologies to enhance NLP model reliability in mental health assessments.
PRIMATE 数据集概述
数据集描述
数据集概要
- 主题: 关注PRIMATE数据集中的注释有效性问题，特别是缺乏兴趣或愉悦症状的注释。
- 改进: 通过精神健康专业人员的重新注释，引入更精细的标签和文本跨度作为证据，识别出大量误报。
- 目的: 提供更高质量的测试集用于检测快感缺乏（anhedonia），强调在精神健康数据集中解决注释质量问题的必要性。
使用数据集
- 数据集文件: 将
primate_dataset.json文件放入脚本所在文件夹。 - 代码示例: 使用Python代码将数据集标签映射到PRIMATE数据集的帖子。
语言
- 语言: 英语
数据集结构
数据实例
- 示例: json { "primate_id": 1394, "answerable": 0, "mentioned": 1, "writer_symptom": 1, "quote": [ [ 1537, 1710 ] ] }
数据字段
- 信息待补充
数据分割
- 信息待补充
数据集创建
源数据
- 来源: 从PRIMATE数据集中提取Reddit帖子。
- 获取方式: 需同意PRIMATE数据集的条款和条件，并按照指定流程获取。
注释
- 注释过程: 精神健康专业人员阅读所有帖子并标记快感缺乏症状的存在。
- 注释标签:
- "mentioned": 症状在文本中提及，但无法推断其持续时间或强度。
- "answerable": 有明确的快感缺乏证据。
- "writer_symptom": 作者讨论自己或第三人的症状。
- 注释者: 第二作者，同时也是临床心理学实习生。
个人信息和敏感信息
- 信息保护: 不发布任何帖子，仅发布注释结果。
数据使用注意事项
偏见讨论
- 局限性: 手动注释的解释作为临床评估Reddit帖子标记为抑郁的代理。
- 注释者单一性: 仅由一名精神健康专业人员进行注释，无法进行注释者间一致性分析。
- 标签局限性: 二元标签可能不适用于症状存在与缺失差异不明显的情况，建议使用Likert量表。
引用信息
- 引用: 如在研究中使用，请引用相关论文。
