five

argilla/emotion

收藏
Hugging Face2023-08-23 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/argilla/emotion
下载链接
链接失效反馈
官方服务:
资源简介:
该数据集是通过Argilla创建的,包含一个配置文件`argilla.yaml`和与HuggingFace `datasets`库兼容的记录。数据集的结构包括字段、问题、建议和注释指南。数据集的主要字段是文本字段,主要问题是标签问题,允许的值为[0, 1, 2, 3, 4, 5]。数据集包含一个训练集分割。

This dataset was developed using Argilla, containing a configuration file `argilla.yaml` and records compatible with the HuggingFace `datasets` library. Its structure encompasses fields, questions, suggestions, and annotation guidelines. The primary field of the dataset is a text field, while the core question is a labeling task with allowed values of [0, 1, 2, 3, 4, 5]. The dataset includes a training split.
提供机构:
argilla
原始信息汇总

数据集卡片 for emotion

数据集描述

数据集概述

该数据集包含:

  • 一个符合 Argilla 数据集格式的配置文件 argilla.yaml,用于在使用 Argilla 的 FeedbackDataset.from_huggingface 方法时配置数据集。
  • 与 HuggingFace datasets 兼容的数据集记录,这些记录在使用 FeedbackDataset.from_huggingface 时会自动加载,也可以通过 datasets 库独立加载。
  • 用于构建和整理数据集的标注指南(如果在 Argilla 中定义)。

加载方式

使用 Argilla 加载

安装 Argilla:

bash pip install argilla --upgrade

加载数据集:

python import argilla as rg

ds = rg.FeedbackDataset.from_huggingface("argilla/emotion")

使用 datasets 加载

安装 datasets

bash pip install datasets --upgrade

加载数据集:

python from datasets import load_dataset

ds = load_dataset("argilla/emotion")

支持的任务和排行榜

该数据集可以包含多个字段、问题和响应,因此可以用于不同的 NLP 任务,具体取决于配置。数据集结构在数据集结构部分中描述。

该数据集没有关联的排行榜。

语言

[更多信息需要]

数据集结构

数据在 Argilla 中

数据集在 Argilla 中包含以下内容:

  • 字段 (Fields):数据集记录本身,目前仅支持文本字段。
字段名称 标题 类型 必需 Markdown
text 文本 TextField
  • 问题 (Questions):向标注者提出的问题,可以是不同类型,如评分、文本、单选或多选。
问题名称 标题 类型 必需 描述 值/标签
label 标签 LabelQuestion N/A [0, 1, 2, 3, 4, 5]
  • ✨ 新功能 建议 (Suggestions):与现有问题关联的建议,包含建议的值及其元数据。

  • 指南 (Guidelines):提供给标注者的指令,详见标注指南部分。

数据实例

在 Argilla 中的数据集实例示例如下:

json { "fields": { "text": "i didnt feel humiliated" }, "metadata": { "split": "train" }, "responses": [ { "status": "submitted", "values": { "label": { "value": "0" } } } ], "suggestions": [] }

在 HuggingFace datasets 中的相同记录示例如下:

json { "external_id": null, "label": [ { "status": "submitted", "user_id": null, "value": "0" } ], "label-suggestion": null, "label-suggestion-metadata": { "agent": null, "score": null, "type": null }, "metadata": "{"split": "train"}", "text": "i didnt feel humiliated" }

数据字段

数据集字段区分如下:

  • 字段 (Fields):数据集记录本身,目前仅支持文本字段。

    • textTextField 类型。
  • 问题 (Questions):向标注者提出的问题,可以是不同类型,如 RatingQuestionTextQuestionLabelQuestionMultiLabelQuestionRankingQuestion

    • labelLabelQuestion 类型,允许值为 [0, 1, 2, 3, 4, 5]。
  • ✨ 新功能 建议 (Suggestions):自 Argilla 1.13.0 起,建议已包含在内,以提供标注者在标注过程中易于或协助的建议。建议与现有问题关联,始终可选,并包含建议本身及其相关元数据(如果适用)。

    • (可选) label-suggestionlabel_selection 类型,允许值为 [0, 1, 2, 3, 4, 5]。

此外,还有一个可选字段:

  • external_id:用于为数据集记录提供外部 ID 的可选字段。如果需要将数据集记录链接到外部资源(如数据库或文件),这可能很有用。

数据分割

数据集包含一个分割,即 train

搜集汇总
数据集介绍
main_image_url
构建方式
在自然语言处理领域,情感分析是理解人类情感表达的关键任务,而高质量标注数据集的构建则是推动该领域发展的基石。argilla/emotion数据集基于Argilla平台构建,其构建过程遵循了一套严谨的流程:首先,从dair-ai/emotion数据集移植原始文本数据,这些文本涵盖了丰富的情感类别;随后,通过Argilla的反馈数据集格式,定义了包含文本字段(TextField)和标签问题(LabelQuestion)的结构化配置,其中标签问题允许标注者从六个预设类别(0至5)中选择对应情感;此外,数据集还引入了可选的建议机制(suggestions),用于辅助标注过程并记录元数据。最终,所有记录以兼容HuggingFace datasets库的格式存储,并附带了标注指南,确保数据的一致性和可复现性。
特点
该数据集的核心特点在于其灵活性与专业性并重。一方面,它采用Argilla的多字段、多问题数据模型,支持文本输入与标签反馈的标准化组合,同时通过可选的建议字段为标注过程提供辅助,增强了数据集的实用性和适应性。另一方面,数据集规模介于1万至10万条记录之间,聚焦于单一训练集划分(train),确保了数据分布的集中性。情感标签的六类划分简洁明确,覆盖了从消极到积极的情感光谱,适用于多种自然语言处理任务,如情感分类与情感识别。此外,数据集还包含了外部ID字段,便于与外部资源进行链接,提升了数据的可扩展性。
使用方法
使用该数据集时,研究者可根据需求选择两种加载方式。若需利用Argilla平台的完整功能,可通过安装argilla库并调用FeedbackDataset.from_huggingface方法直接加载数据集,此时数据集将自动配置字段、问题和指南,便于进行交互式标注与审查。若仅需进行模型训练或数据分析,则可借助HuggingFace datasets库,通过load_dataset函数快速获取数据,其返回的记录包含文本、标签及建议信息,可直接用于机器学习流水线。无论采用何种方式,数据集均以JSON格式存储实例,其中文本字段与标签响应相互关联,用户可依据任务需求灵活提取特征与标签,实现高效调用。
背景与挑战
背景概述
情感识别作为自然语言处理领域的重要分支,致力于从文本中捕捉人类复杂的情感状态。argilla/emotion数据集由Argilla团队基于dair-ai/emotion数据集转化而来,创建于大型语言模型与人类反馈强化学习(RLHF)蓬勃发展的时期。该数据集的核心研究问题在于为情感分类任务提供高质量的人工标注样本,包含六类情感标签(从0到5),覆盖了从负面到正面的情感谱系。通过Argilla平台的结构化反馈机制,该数据集不仅服务于传统的情感分析模型训练,更在人类反馈驱动的模型优化中扮演关键角色,推动了情感理解技术从简单分类向精细化、可解释性方向的演进。
当前挑战
argilla/emotion数据集面临的挑战主要体现在两方面。在领域问题层面,情感分类的固有歧义性构成核心难题,同一文本可能蕴含多重情感,而六分类标签体系难以完整映射真实情感空间的连续性与层次性。在构建过程中,数据标注的一致性维护成为重大挑战,不同标注者对情感强度的感知差异可能导致标签分布偏差。此外,数据集仅包含单一训练分割,缺乏验证与测试集的明确划分,限制了模型评估的客观性。从技术实现看,Argilla格式与HuggingFace标准之间的数据转换可能引入元数据丢失风险,而建议标注(suggestion)机制的引入虽提升效率,却可能引入模型偏见,影响标注的纯粹性。
常用场景
经典使用场景
在情感计算与自然语言处理交叉领域,argilla/emotion数据集作为融合人类反馈的细粒度情感标注资源,其经典使用场景在于构建基于强化学习的人类反馈(RLHF)情感分类模型。该数据集将原始文本映射至六类离散情感标签(0至5),涵盖从负面到正面的情感强度梯度,为训练具备情感理解能力的对话系统、情感感知聊天机器人提供了高质量的标注基准。研究者常借助Argilla平台实现标注流程的灵活配置,通过引入人类反馈修正模型预测偏差,从而提升情感分类在复杂语境下的鲁棒性与细腻度。
解决学术问题
该数据集有效回应了情感分析领域中标注一致性不足与模型泛化能力受限的学术困境。传统情感数据集多依赖众包标注,缺乏对标注过程的可追溯性与迭代优化机制。argilla/emotion通过集成人类反馈流程,使得研究者能够系统性地评估标注者间信度并修正标签噪声,进而探索情感强度梯度对模型决策边界的影响。其在RLHF框架下的应用,为将人类偏好融入情感模型训练提供了可复现的范式,推动了从静态情感分类向动态人机协同建模的学术演进。
衍生相关工作
该数据集衍生了一系列具有影响力的工作,包括基于情感强度梯度的对比学习预训练方法,以及将人类反馈融入稀疏情感标签的主动学习策略。后续研究进一步拓展了其应用边界,如结合情感标签的元学习框架以提升少样本场景下的迁移能力,或是利用标注过程中的用户反馈元数据构建情感偏好对齐的奖励模型。这些工作共同揭示了人类反馈在情感建模中的核心价值,并为跨语言情感数据集的人机协同标注规范提供了方法论参考,推动了情感计算领域向更可信、更可解释的方向发展。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务