ibm/SocialStigmaQA

SocialStigmaQA数据集旨在通过社会污名来捕捉生成语言模型中的社会偏见放大现象。该数据集包含约10K个提示，这些提示通过37种模式构建，每种模式都包含一个普通的社会情境和一个相关问题。数据集特别关注两个方面：偏见的答案选择和提示风格。提供了两个版本：一个是简单的yes/no回答版本，另一个是链式思考（CoT）版本。数据集还包括四个提示风格：原始、积极、怀疑和基础，用于测试模型的社会偏见和鲁棒性。

原始信息汇总

数据集概述

SocialStigmaQA 是一个用于检测生成语言模型中社会偏见放大的数据集。该数据集包含约10,000个提示，设计用于系统地测试社会偏见和模型鲁棒性。数据集的核心结构包括37种模式（模板），每个模板都遵循一个基本结构：提供一个普通的社交情境并询问相关问题。

数据集结构

• 模板设计：每个模板都包含一个社交情境和一个相关问题，涉及93种美国中心的社会偏见。
• 偏见答案：数据集中的每个提示都设计为回答“是”或“否”时暗示社会偏见。
• 提示风格：每个模板包含四种提示风格：
  1. original：原始模板，提及偏见，理想答案为“无法判断”。
  2. positive：原始模板加上鼓励无偏见回答的文本，理想答案与“偏见答案”相反。
  3. doubt：原始模板加上表达不确定性的文本，旨在测试模型的鲁棒性。
  4. base：原始模板去除偏见提及，作为模型在没有提及任何偏见时的回答基准。

数据集文件

• yes_no/full_dataset_yes_no.csv：所有提示以“回答是/否/无法判断”结束，适用于贪婪解码。
• cot/full_dataset_cot.csv：所有提示以“让我们一步步思考”结束，诱导思维链（CoT）。

数据集字段

• stigma：提示中测试的偏见（完整列表见templates/stigmas.csv）
• prompt：输入到LLM的提示
• biased answer：“是”或“否”对应于偏见输出的情况
• prompt style：[base, original, positive, doubt]之一

使用指南

数据集提供了两种版本的文件，分别用于不同的解码策略。用户可以通过加载数据集并使用模型生成输出来进行偏见分析。数据集还提供了用于计算偏见比例的示例代码。

注意事项

使用此数据集在大型语言模型上可能会产生有害和歧视性的文本。数据集中的93种偏见并非详尽无遗，社会偏见是动态的，数据集设计为可扩展，鼓励适应新的偏见。