WinoIdentity

WinoIdentity是一个用于评估大型语言模型中交叉偏见的基准数据集，通过扩展WinoBias数据集，添加了10个属性的25个人口统计标记（包括年龄、国籍和种族等），与二元性别相交，产生了247,104个提示，用于评估50种不同的偏见模式。数据集包含三种增强类型：指称增强、非指称增强和对比增强，分别存储在三个CSV文件中。

WinoIdentity is a benchmark dataset designed to evaluate intersectional bias in large language models (LLMs). Built by extending the WinoBias dataset, it incorporates 25 demographic markers across 10 attributes (including age, nationality, race, and others) and intersects these with binary gender, resulting in 247,104 prompts for assessing 50 distinct bias patterns. The dataset includes three augmentation categories: referential augmentation, non-referential augmentation, and contrastive augmentation, which are separately stored in three CSV files.

原始信息汇总

WinoIdentity 数据集概述

数据集简介

WinoIdentity 是一个用于评估大型语言模型（LLMs）交叉公平性的基准数据集。该数据集通过扩展 WinoBias 数据集构建而成，专门设计用于检测多维度人口统计特征交叉时产生的偏见模式。

数据集规模

• 总提示数量：247,104 个独特句子
• 覆盖属性：10 个人口统计属性
• 人口统计标记：25 个 demographic markers
• 评估模式：50 个不同的偏见模式

数据构造方法

人口统计属性

基于"权力与特权之轮"理论，选取了 10 个影响社会动态的属性，包括年龄、国籍、种族等。从中选择了 25 个在美国常见的人口统计群体，分为：

• 霸权/特权群体（历史上掌握权力）
• 弱势群体（历史上被边缘化）

数据增强类型

1. 指称增强（R-Aug）：在指称的人或职业上添加人口统计标记
2. 非指称增强（NR-Aug）：在句子中的其他人或职业上添加人口统计标记
3. 对比增强（C-Aug）：在指称和非指称职业上都添加标记，通常使用对比性的人口统计标记

数据文件结构

数据集包含 3 个 CSV 文件：

• intersectional_referent_occupation.csv：79,200 个句子
• intersectional_nonreferent_occupation.csv：79,200 个句子
• intersectional_both_occupations.csv：88,704 个句子

数据格式

每个文件包含 8 个相同结构的列：

1. Prompt：经过交叉增强的 WinoIdentity 句子
2. pronoun：句子中的代词（每句仅一个）
3. referent_occ：代词所指的职业
4. occs_in_samples：句子中出现的两个职业列表
5. stereotype_label：反刻板印象或亲刻板印象标签
6. winobias_task_type：类型1（模糊）或类型2（非模糊）
7. augmentation_to：增强类型标识（referent/non-referent/both）
8. demographic_identifier：用于交叉增强的人口统计标识符

研究背景

该数据集伴随研究论文《使用共指消解中的置信度差异调查大型语言模型中的交叉偏见》开发，专注于评估 LLMs 在招聘等应用场景中的交叉偏见问题。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，偏见评估数据集对促进算法公平性至关重要。WinoIdentity数据集通过扩展WinoBias基准构建而成，采用三重增强策略：指称增强为目标准职业添加人口统计标记，非指称增强为上下文其他职业添加标记，对比增强则同时为两个职业添加对比性标记。该方法基于10个社会属性筛选25个人口统计组别，结合二元性别维度，最终生成涵盖247,104条提示词的系统性评估框架。

特点

该数据集的核心价值在于其交叉性偏见检测能力。其特点体现在多维人口属性的精细划分，涵盖年龄、国籍、种族等10个属性下的特权与边缘化群体分类。数据样本均带有刻板印象标签和任务类型标识，每个句子仅包含单一代词指代，并严格保持原始WinoBias的平衡性设计。三类增强文件分别呈现不同的语境干预模式，为模型偏见分析提供多角度观测窗口。

使用方法

研究者可通过加载三个CSV文件分别进行针对性实验。每个文件包含相同的结构化字段：提示文本、代词指代、职业参照组、刻板印象标签及人口标识符。使用时应根据augmentation_to字段区分增强类型，结合demographic_identifier分析特定人口群体的偏见模式。数据集支持核心ference解析任务的性能评估，可通过对比不同增强条件下的模型置信度差异，量化交叉性偏见的显现程度。

背景与挑战

背景概述

WinoIdentity数据集诞生于2024年，由研究团队基于WinoBias数据集扩展构建，专注于揭示大型语言模型中的交叉性偏见问题。该数据集通过引入年龄、国籍、种族等10个社会属性与二元性别交叉组合，构建了247,104个评估提示，旨在系统量化模型在指代消解任务中对多重身份特征的歧视性响应模式。其创新性在于突破了传统单维度偏见检测的局限，为人工智能公平性研究提供了多维度的评估基准。

当前挑战

该数据集核心挑战在于解决指代消解任务中交叉性偏见的量化难题，需克服多重身份特征耦合带来的评估复杂性。构建过程中面临三大挑战：一是如何科学选取具有社会意义的25个人口统计标记并界定特权与边缘化群体；二是设计三种不同的数据增强策略（指称增强、非指称增强和对比增强）以覆盖多维度偏见场景；三是保持与原始WinoBias数据集的标注体系一致性，同时处理28种交叉组合带来的数据规模指数级增长问题。

常用场景

经典使用场景

在自然语言处理领域，WinoIdentity数据集被广泛用于评估大型语言模型在共指消解任务中的交叉性偏见。通过将25个人口统计标记与10种社会属性（如年龄、国籍和种族）相结合，并与二元性别交叉，该数据集构建了247,104个提示，用于系统检测模型在处理多重身份重叠时的偏见模式。这一设计使得研究者能够深入分析模型在复杂社会语境中的表现，特别是在涉及特权与边缘化群体交叉时的公平性问题。

衍生相关工作

WinoIdentity数据集衍生了一系列关于交叉性偏见检测与缓解的研究工作。例如，基于其增强方法，研究者开发了新的偏见度量指标和去偏见算法，扩展了WinoBias的原始框架。这些工作包括对模型置信度差异的深入分析，以及针对特定人口统计组合的偏见 mitigation 技术。相关研究还推动了多任务学习框架的发展，将交叉性偏见评估整合到模型训练与评估的全生命周期中。

数据集最近研究

最新研究方向

在自然语言处理领域的公平性研究浪潮中，WinoIdentity数据集作为交叉性偏见评估的重要基准，正推动大语言模型偏见检测从单一维度向多维度交叉分析范式转变。该数据集通过引入年龄、国籍、种族等10个社会属性与性别形成的247,104个交叉提示，精准捕捉了当多重弱势身份叠加时产生的复合歧视模式。当前研究热点集中于开发能够量化模型在指代消解任务中置信度差异的评估框架，尤其关注雇佣决策等高风险场景中模型对边缘群体的系统性偏差。这项研究不仅为衡量算法公平性提供了细粒度工具，更推动了以‘权力与特权之轮’理论为指导的计算社会科学交叉研究，对构建包容性人工智能系统具有深远意义。