CORGI-PM

CORGI-PM是由北京人工智能研究院等机构联合创建的中文数据集，旨在探测和缓解性别偏见。该数据集包含32,900条高质量标注的句子，涵盖性别偏见与非偏见样本。数据集通过特定的标注方案和专业背景的标注者进行创建，主要用于性别偏见的自动检测、分类和缓解。CORGI-PM的应用领域主要集中在自然语言处理中性别偏见的探测与缓解，为解决文本中的性别偏见问题提供了重要资源。CORGI-PM is a Chinese-language dataset jointly created by institutions including the Beijing Academy of Artificial Intelligence, which aims to detect and mitigate gender bias. This dataset contains 32,900 high-quality annotated sentences covering both gender-biased and non-biased samples. It was constructed via a dedicated annotation scheme and professional annotators, and is primarily intended for the automatic detection, classification and mitigation of gender bias. The application scenarios of CORGI-PM mainly focus on the detection and mitigation of gender bias in natural language processing, providing a critical resource for addressing gender bias issues in text.

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，性别偏见研究面临高质量数据稀缺的挑战，CORGI-PM数据集的构建采用了系统化的多阶段流程。该数据集从大规模中文语料库中筛选潜在偏见句子，首先通过词级过滤，利用语言模型计算性别相关词汇的偏见得分，构建高偏见词汇表并匹配原始语料；随后进行句级重排与过滤，基于句子层面的偏见概率进行阈值筛选，确保候选句子的代表性。最终，由经过严格培训的标注人员依据专门设计的标注方案，对筛选出的句子进行人工标注与去偏见改写，形成包含32.9k句子的高质量语料。

特点

CORGI-PM作为首个句子级中文性别偏见探测与缓解语料库，其核心特点体现在数据结构的完整性与标注的精细度。该数据集不仅包含偏见与非偏见句子的二元标注，还将偏见句子进一步细分为活动与职业选择、描述与诱导、态度规范与信念三个子类，提供了多层次的语义信息。此外，每个偏见句子均配有经过人工修正的无偏见平行版本，形成了独特的对照结构，为生成式模型提供了直接监督信号。数据集的规模与平衡性经过精心设计，确保了训练与评估的可靠性。

使用方法

该数据集主要服务于性别偏见相关的自然语言处理任务，为模型训练与评估提供了标准化基准。在应用层面，研究者可将数据集划分为训练、验证与测试集，用于微调预训练语言模型，执行性别偏见检测与分类任务。对于偏见缓解任务，可利用平行语料训练序列到序列模型，学习将偏见句子转化为无偏见表达。此外，数据集支持零样本与上下文学习范式的评估，有助于衡量模型在未见数据上的泛化能力。实验设置需遵循论文中定义的评估协议，以确保结果的可比性与科学性。

背景与挑战

背景概述

在自然语言处理领域，性别偏见研究逐渐成为跨学科的重要议题，然而主流的数据驱动技术，尤其是大规模语言模型，常受限于数据不足与语料偏见问题，这在资源相对匮乏的中文语境中尤为突出。为应对这一挑战，北京人工智能研究院、谢菲尔德大学、中国科学院计算技术研究所等机构的联合研究团队于2023年推出了CORGI-PM数据集，这是首个专注于中文句子级别性别偏见探测与缓解的人工标注语料库。该数据集包含约3.29万条高质量标注句子，旨在通过系统化的标注框架，为中文文本中的性别偏见识别与消除提供可靠的数据支持，从而推动自然语言处理技术在性别平等方向的应用与发展。

当前挑战

CORGI-PM数据集所针对的核心领域挑战在于中文文本中性别偏见的自动探测、分类与缓解，这些任务需克服语言模型对训练数据中隐含偏见的放大效应，以及中文语境下性别表达的文化特异性所带来的识别难度。在构建过程中，研究团队面临双重挑战：其一，从大规模原始语料中高效筛选潜在偏见句子，需设计兼顾词级与句级偏见的双层过滤机制，并避免自动性别替换方法可能产生的语义失真问题；其二，确保标注质量与一致性，要求标注者具备较高的教育背景与性别意识，并通过交叉验证与标准化流程来维持语料的可靠性与中立性。

常用场景

经典使用场景

在自然语言处理领域，性别偏见研究日益成为跨学科焦点，CORGI-PM作为首个句子级中文性别偏见探测与缓解语料库，其经典应用场景集中于为中文语境下的性别偏见自动识别与修正提供高质量数据支持。该数据集通过精心设计的标注方案，涵盖了职业选择、描述归纳及态度规范等多维度偏见类型，为研究者构建和评估偏见检测模型奠定了坚实基础。其句子级别的标注结构使得模型能够深入理解上下文中的隐性偏见，从而推动中文自然语言处理技术在性别平等方向的发展。

解决学术问题

CORGI-PM有效解决了中文自然语言处理中性别偏见研究的数据匮乏问题，尤其针对资源相对不足的中文语境。该数据集通过人工标注的32.9k句子，提供了偏见存在性判断、子类分类及无偏见修正版本，为自动文本性别偏见缓解任务提供了清晰的定义与评估协议。其意义在于填补了中文性别偏见语料库的空白，使得研究者能够基于高质量数据开发更精准的偏见探测与分类模型，同时为生成式语言模型提供了强有力的监督信号，促进了性别偏见缓解技术的实际应用与理论深化。

衍生相关工作

CORGI-PM的发布催生了多项相关经典研究工作，尤其是在中文性别偏见探测与缓解模型的基准测试方面。基于该数据集，研究者们探索了不同预训练语言模型（如BERT、ELECTRA、XLNet）在偏见检测、分类及修正任务上的性能，并提供了零样本学习、上下文学习及微调等多种范式的实验结果。这些工作不仅验证了CORGI-PM作为评估基准的有效性，还推动了针对中文语境的新型偏见缓解算法的开发，例如结合生成式模型进行文本重写，进一步拓展了性别偏见研究在自然语言处理中的应用边界。