McGill-NLP/stereoset

StereoSet是一个用于测量语言模型中刻板印象偏见的数据集。该数据集包含17,000个句子，涵盖了性别、种族、宗教和职业四个领域。数据集的创建目的是在保持语言模型性能的同时，测量其公平性和无偏见性。数据集由众包工作者通过Amazon Mechanical Turk进行注释，数据生成过程严格基于美国背景。数据集的结构包括两个配置：intersentence和intrasentence，每个配置都包含验证集。数据字段包括id、target、bias_type、context、sentences等，sentences字段进一步包含sentence、id、labels和gold_label。

StereoSet is a dataset developed to measure stereotypical bias in language models. It contains 17,000 sentences spanning four domains: gender, race, religion, and occupation. The dataset was created to assess the fairness and unbiasedness of language models while preserving their standard performance. It was annotated by crowdworkers via Amazon Mechanical Turk, with its data generation process strictly based on the U.S. context. The dataset includes two configurations: intersentence and intrasentence, each equipped with a validation set. Its data fields consist of id, target, bias_type, context, and sentences, where the sentences field further contains sentence, id, labels, and gold_label.

原始信息汇总

数据集概述

数据集名称: StereoSet

数据集目的: 测量语言模型中的刻板印象偏见。

数据集内容: 包含17,000个句子，用于评估模型在性别、种族、宗教和职业等方面的偏好。

语言: 英语 (en)

许可证: CC-BY-SA 4.0

多语言性: 单语种

数据集大小:

• 下载大小: 686688字节
• 数据集大小: 2286068字节

任务类别: 文本分类

数据集结构:

• 特征:
  • id: 问题ID
  • target: 刻板印象目标
  • bias_type: 偏见类型，包括性别、种族、宗教和职业
  • context: 上下文句子
  • sentences: 句子选项
    • sentence: 给定上下文和目标的句子选择
    • id: 句子ID
    • labels: 标签
      • label: 句子标签，包括刻板印象、反刻板印象、无关和相关
      • human_id: 注释者ID
    • gold_label: 问题的黄金标签，包括刻板印象、反刻板印象和无关
• 数据分割:
  • validation: 验证集
    • 字节数: 2286068
    • 示例数: 2123

数据集创建:

• 来源数据: 原始数据，通过Amazon Mechanical Turk的众包工作者收集
• 注释者: 众包工作者，共475和803人分别完成intrasentence和intersentence任务

使用考虑:

• 社会影响: 评估语言模型的公平性和自然语言理解能力
• 偏见讨论: 刻板印象严格基于美国情境，注释者主要是50岁以下人群

附加信息:

• 数据集维护者: Nadeem et al (2020)
• 贡献者: @cstorm125

搜集汇总

数据集介绍

构建方式

StereoSet数据集的构建基于对性别、种族、宗教和职业四个领域的偏见进行量化。通过Amazon Mechanical Turk平台招募的众包工作者，数据集收集了大量关于这些领域的句子，并对其进行了标注。具体而言，数据集包含17,000个句子，涵盖了不同类型的偏见，如刻板印象、反刻板印象和无关句子。标注过程涉及多个步骤，确保每个句子都被正确分类为刻板印象、反刻板印象或无关。

特点

StereoSet数据集的显著特点在于其大规模和多样性。数据集涵盖了四个主要领域：性别、种族、宗教和职业，每个领域都有详细的标注，确保了数据集在偏见检测任务中的广泛适用性。此外，数据集的标注过程经过精心设计，确保了标注的一致性和准确性，从而为研究者提供了一个可靠的基准数据集。

使用方法

StereoSet数据集主要用于评估语言模型在偏见检测任务中的表现。研究者可以通过加载数据集的验证集，使用其中的句子进行模型训练和评估。数据集提供了详细的标注信息，包括每个句子的偏见类型和金标准标签，便于研究者进行模型性能的量化分析。通过对比模型在刻板印象、反刻板印象和无关句子上的表现，研究者可以更好地理解模型的偏见倾向，并进一步优化模型以减少偏见。

背景与挑战

背景概述

StereoSet数据集由McGill-NLP团队创建，旨在测量语言模型中的刻板印象偏见。该数据集包含17,000个句子，涵盖性别、种族、宗教和职业四个领域，旨在评估模型在这些领域中的偏见表现。StereoSet的创建源于对现有语言模型在处理刻板印象时表现的关注，特别是这些模型在自然语言理解与公平性之间的平衡。通过这一数据集，研究人员能够更全面地评估模型在处理刻板印象时的表现，从而推动更公平、更无偏见的语言模型的发展。

当前挑战

StereoSet数据集的主要挑战在于其复杂性和敏感性。首先，刻板印象的定义和识别本身就是一个复杂的问题，尤其是在不同文化和社会背景下，刻板印象的表现形式可能大相径庭。其次，数据集的构建过程中，如何确保标注的准确性和一致性也是一个重大挑战，尤其是在涉及多个标注者的情况下。此外，数据集的评估不仅需要考虑模型的语言理解能力，还需要兼顾其公平性和无偏见性，这使得评估过程更加复杂。最后，数据集中涉及的刻板印象内容可能具有敏感性，如何在研究和应用中妥善处理这些内容也是一个重要的挑战。

常用场景

经典使用场景

StereoSet数据集的经典使用场景主要集中在评估语言模型中的刻板印象偏见。通过提供包含性别、种族、宗教和职业等领域的句子，研究者可以利用该数据集来检测模型在处理这些敏感话题时的表现，从而评估模型是否存在潜在的偏见。

实际应用

在实际应用中，StereoSet数据集可用于训练和评估旨在减少或消除语言模型中刻板印象偏见的算法。这些算法可以应用于聊天机器人、自动文本生成系统等，以确保这些系统在处理敏感话题时能够表现出更高的公平性和中立性。

衍生相关工作

基于StereoSet数据集，研究者们开发了多种评估和改进语言模型偏见的算法。例如，一些研究工作专注于通过对抗训练来减少模型中的刻板印象，而另一些则探索了如何在保持语言模型性能的同时，降低其对特定群体的偏见。