baiango/go_emotions_renovated

这是一个基于go_emotion数据集前200行重构的版本，标注依据Robert Plutchik的情感轮。数据集主要用于文本分类任务，支持设置情感的强度等级。标注过程使用了三个不同的LLM模型进行，但由于LLM的幻觉问题，可能会导致标注不准确。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 文本分类
• 语言: 英语
• 数据集大小: 小于1000条记录

数据集描述

• 数据集名称: go_emotions_renovated
• 版本: 针对前200行的修订版
• 情感标注依据: Robert Plutchik的情感轮
• 数据集来源: go_emotion
• 数据集维护者: Ziv Arin

使用说明

• 情感强度设定:
  • "none": 0
  • "possible": 1
  • "low": 2
  • "medium": 3
  • "high": 4

标注过程

• 标注方法: 使用大型语言模型(LLM)进行文本情感分析
• 标注步骤:
  1. 向LLM提问，判断文本是否可能间接表达特定情感。
  2. 要求LLM从其响应中确定标签，并确认其最终答案。

标注者

• 标注工具: 三种不同的LLM模型
• 模型详情:
  • mistral-7b-instruct-v0.2.Q3_K_S
  • Hermes-2-Pro-Mistral-7B.Q3_K_S
  • dolphin-2.8-mistral-7b-v02-Q3_K_S

偏差、风险和局限性

• 主要问题: LLM模型存在较高的幻觉率，可能导致文本情感标注错误。
• 潜在风险: 可能被用于传播错误信息，对精细调整模型产生负面影响。
• 局限性: 不存在完全无偏差的解决方案，所有模型都可能受到偏差影响。