WinoQueer

WinoQueer是由南加州大学信息科学研究所开发的一个社区驱动的基准数据集，专门设计来检测大型语言模型中对LGBTQ+社区有害的偏见。该数据集通过社区调查收集，包含45540对句子，覆盖11种模板、9种性别身份群体、3种代词、60个常见名字和182个独特谓词。数据集的创建过程涉及广泛的社区参与，确保了数据集与实际社区需求的紧密联系。WinoQueer的应用领域主要集中在评估和减少大型语言模型中的反LGBTQ+偏见，以促进更公平和包容的技术发展。WinoQueer is a community-driven benchmark dataset developed by the Information Sciences Institute of the University of Southern California, specifically designed to detect harmful biases against the LGBTQ+ community in large language models. Collected via community surveys, this dataset contains 45,540 sentence pairs, covering 11 templates, 9 gender identity groups, 3 pronouns, 60 common given names, and 182 unique predicates. The dataset's creation process involved extensive community participation, ensuring that it is closely aligned with the actual needs of the LGBTQ+ community. The primary application domains of WinoQueer focus on evaluating and mitigating anti-LGBTQ+ biases in large language models, so as to foster more equitable and inclusive technological development.

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，针对少数群体的偏见检测日益受到关注，WinoQueer数据集的构建旨在填补现有研究中对LGBTQ+群体偏见评估的空白。该数据集借鉴了现有偏见检测基准的设计思路，通过创建模板化的句子对来量化模型中的反同性恋与反跨性别偏见。具体而言，研究者首先设计了两种类型的模板：一类基于形容词的定性描述，涵盖阳性、阴性、积极与消极等维度；另一类则关注个体间的互动关系，如“X与Y牵手”。这些模板中嵌入了多样化的代词与性别化名称，包括传统代词及新兴代词如ey、zie和sie，以覆盖更广泛的性别表达。数据收集过程结合了社交媒体与新闻媒体语料，通过Twitter API和Media Cloud平台，分别获取了LGBTQ+社区成员的讨论内容以及主流媒体对相关议题的报道，形成了QueerTwitter和QueerNews两个语料库，为后续的模型微调与分析提供了基础。

特点

WinoQueer数据集的特点在于其针对性与细致性，能够深入探测语言模型中对LGBTQ+亚群体的特定偏见。与以往研究往往将性取向简化为二元分类不同，该数据集明确纳入了对女同性恋者、双性恋者、跨性别女性等群体的刻板印象分析，实现了对社群内部多样性的覆盖。此外，数据集创新性地引入了非传统代词，突破了传统性别二元框架的局限，增强了评估的包容性。在评估方法上，WinoQueer采用了伪对数似然度量，通过对比模型对刻板句与非刻板句的偏好程度来量化偏见，使得测量结果更具解释性与可比性。这些设计使得该数据集不仅能够揭示模型中的潜在偏见，还能为后续的偏见缓解策略提供精准的评估工具。

使用方法

WinoQueer数据集的使用主要围绕语言模型的偏见评估与缓解展开。研究者可首先利用该数据集对预训练语言模型进行测试，通过计算模型在刻板与非刻板句子对上的偏好分数，量化其反同性恋与反跨性别偏见的程度。在此基础上，数据集支持对模型进行微调实验，例如使用QueerTwitter或QueerNews语料库对BERT等模型进行再训练，以观察偏见是否得以减轻。同时，该数据集可与下游任务结合使用，如在指代消解任务中评估微调后模型的性能保持情况，确保偏见缓解不会导致模型能力的显著退化。通过这种多层次的应用，WinoQueer为研究者提供了一个系统化的工具，以促进语言模型在公平性方面的改进与优化。

背景与挑战

背景概述

在人工智能技术日益普及的背景下，算法对边缘群体的系统性偏见问题引发了广泛关注。自然语言处理领域虽已致力于减少种族与性别偏见，但对LGBTQ+群体反同性恋与反跨性别偏见的探究仍显不足。为此，南加州大学信息科学研究所的Virginia K. Felkner等人于2022年提出了WinoQueer数据集，旨在量化大型语言模型中对LGBTQ+特定亚群体的偏见。该数据集借鉴了现有偏见检测基准的设计思路，专注于揭示模型内隐的同性恋恐惧与跨性别恐惧倾向，并通过微调模型于社区生成数据以缓解偏见，为促进算法公平性与包容性提供了新的评估工具。

当前挑战

WinoQueer数据集致力于解决自然语言处理中针对LGBTQ+群体的偏见检测与缓解问题，其核心挑战在于如何精准捕捉模型对同性恋、跨性别等身份的特异性刻板印象，并克服现有研究将性取向简化为二元分类的局限。在构建过程中，研究人员面临数据收集的复杂性，需从社交媒体与新闻媒体中筛选出代表LGBTQ+社区真实声音的语料，同时避免因内容过滤而无意中压制少数群体表达。此外，设计能够涵盖性别流动性、非二元代词及交叉性偏见的测试模板，亦对数据集的全面性与科学性提出了较高要求。

常用场景

经典使用场景

在自然语言处理领域，WinoQueer数据集被广泛应用于评估大型语言模型中针对LGBTQ+群体的偏见程度。该数据集通过构建包含同性恋与异性恋关系的句子对，模拟了仅通过代词或性别化名称差异来探测模型潜在偏见的情境。研究者利用这些句子对进行掩码语言建模任务，计算模型对刻板印象句子的偏好概率，从而量化模型中的反酷儿偏见。这种经典使用场景为语言模型的公平性评估提供了标准化工具，使得不同模型间的偏见比较成为可能。

解决学术问题

WinoQueer数据集主要解决了自然语言处理中针对LGBTQ+群体偏见研究的空白问题。传统偏见检测多集中于种族和二元性别维度，而该数据集首次系统性地涵盖了同性恋、跨性别等特定身份群体的刻板印象检测。通过引入包含非二元代词及新代词的测试模板，它挑战了语言模型中对性别和性取向的简化假设。该数据集的意义在于推动了算法公平性研究向更广泛的社会身份维度拓展，为构建包容性人工智能系统提供了关键评估基准。

衍生相关工作

WinoQueer数据集的推出催生了一系列关注算法公平性的衍生研究。后续工作扩展了其方法论，例如开发更全面的偏见检测模板以涵盖双性恋恐惧症、跨性别女性歧视等交叉性偏见。同时，该数据集启发了对多语言环境下LGBTQ+偏见检测的探索，以及将社区参与式数据收集方法应用于其他边缘群体偏见缓解的研究。这些工作共同推动了自然语言处理领域向更具社会意识的评估范式转变。