荷兰 CrowS-Pairs 数据集

荷兰 CrowS-Pairs 数据集是一个用于测量荷兰语言模型中社会偏见的数据集。该数据集包含 1463 个句子对，涵盖了 9 个类别的偏见，如性取向、性别和残疾。句子对由对比句子组成，其中一个句子涉及弱势群体，另一个句子涉及优势群体。使用荷兰 CrowS-Pairs 数据集，我们发现各种语言模型（BERTje、RobBERT、多语言 BERT、GEITje 和 Mistral-7B）在各种偏见类别中表现出明显的偏见。此外，还发现为语言模型分配角色会改变其表现出的偏见程度。这些发现突出了跨语言和情境偏见的变异性，表明文化和语言因素在塑造模型偏见方面发挥着重要作用。

The Dutch CrowS-Pairs dataset is a benchmark dataset for measuring social biases in Dutch language models. It consists of 1,463 sentence pairs covering 9 categories of biases, including sexual orientation, gender, and disability. Each sentence pair comprises contrasting sentences: one refers to a marginalized group, while the other refers to a privileged group. Using the Dutch CrowS-Pairs dataset, we observed significant biases across various bias categories in multiple language models, including BERTje, RobBERT, multilingual BERT, GEITje, and Mistral-7B. Furthermore, we found that assigning roles to language models alters the degree of biases they exhibit. These findings highlight the variability of cross-lingual and contextual biases, demonstrating that cultural and linguistic factors play a critical role in shaping model biases.

原始信息汇总

数据集概述

基本信息

• 数据集名称: Dutch CrowS-Pairs
• 来源: 该数据集是CrowS-Pairs数据集的荷兰语版本，由研究者新创建
• 语言: 包含英语、法语和荷兰语版本
• 数据量: 每种语言包含1,463个句子对
• 许可证: Creative Commons Zero v1.0 Universal (CC0 1.0)

数据集内容

• 覆盖的偏见类别:
  • 种族/肤色
  • 性别
  • 国籍
  • 社会经济地位
  • 宗教
  • 年龄
  • 性取向
  • 外貌
  • 残疾

模型评估脚本

• ARLM评估脚本: arlm_evaluation.py

  • 用于评估自回归语言模型(ARLMs)
  • 通过LM Studio进行提示
  • 结果保存在results/文件夹中

• MLM评估脚本: mlm_metric.py

  • 用于评估掩码语言模型(MLMs)
  • 基于原始CrowS-Pairs研究(Nangia et al., 2020)改编
  • 使用示例: bash python mlm_metric.py --input_file [crows_pairs_dataset] --lm_model [mlm_name] --output_file [output_filename]

参考文献

如需使用Dutch-CrowS-Pairs数据集，请引用: Elza Strazda, Gerasimos Spanakis. Dutch CrowS-Pairs: Adapting a Challenge Dataset for Measuring Social Biases in Language Models for Dutch. In Proceedings of the 15th International Conference on Recent Advances in Natural Language Processing (RANLP 2025), Varna, Bulgaria. Pre-print here

搜集汇总

数据集介绍

构建方式

荷兰 CrowS-Pairs 数据集的构建基于美国 CrowS-Pairs 数据集，通过翻译和本地化调整，使其适用于荷兰文化背景。数据集包含1463个句子对，覆盖9个偏见类别，如种族、性别和残疾。翻译过程结合了机器翻译和人工审核，确保句子的流畅性和文化适应性。美国特有的术语被替换为荷兰相关词汇，例如将“Mexican”替换为“Moroccan”。此外，部分文化不相关或语义不连贯的句子对被移除，以确保数据集的准确性和相关性。

特点

荷兰 CrowS-Pairs 数据集的特点在于其覆盖了多样化的社会偏见类别，并通过对比句子的形式突出偏见差异。每个句子对包含一个涉及弱势群体的句子和一个涉及优势群体的句子，便于量化语言模型中的偏见倾向。数据集还针对荷兰文化进行了本地化调整，确保其在实际应用中的有效性。此外，数据集的构建过程中发现了原始数据集的一些问题（如非最小对和偏见类别不匹配），并在翻译过程中进行了修正，进一步提升了数据质量。

使用方法

荷兰 CrowS-Pairs 数据集主要用于评估荷兰语言模型中的社会偏见。对于掩码语言模型（MLMs），采用伪对数似然评分方法计算模型对偏见句子的偏好程度；对于自回归语言模型（ARLMs），则通过设计特定提示词，要求模型在偏见句子对中选择更可能的情境。此外，数据集还可用于研究角色扮演对模型偏见表达的影响，例如通过提示模型扮演“好人”或“坏人”角色，观察其输出变化。数据集的开源性支持进一步的研究和扩展。

背景与挑战

背景概述

荷兰 CrowS-Pairs 数据集由 Maastricht 大学的 Elza Strazda 和 Gerasimos Spanakis 于 2025 年提出，旨在解决荷兰语语言模型中的社会偏见问题。该数据集基于英语 CrowS-Pairs 数据集，通过翻译和本地化调整，构建了包含 1463 个句子对的荷兰语版本，覆盖了种族、性别、宗教等 9 个偏见类别。该数据集的创建填补了非英语语言模型偏见评估工具的空白，为荷兰语自然语言处理领域的研究提供了重要基准。通过该数据集，研究者揭示了 BERTje、RobBERT 等荷兰语模型以及多语言模型在不同偏见类别上的表现差异，推动了跨语言偏见研究的深入发展。

当前挑战

荷兰 CrowS-Pairs 数据集面临多重挑战。在领域问题层面，语言模型偏见评估需要解决偏见类别的文化适应性难题，例如如何准确界定荷兰社会特有的偏见表达形式。构建过程中的挑战包括：1) 翻译过程中的文化适配问题，需将美国文化背景的表述转化为荷兰语境；2) 句子对的最小差异保持，确保对比仅反映目标偏见维度；3) 偏见类别的准确标注与一致性维护，避免原数据集中的类别错位问题。此外，数据集的构建还需平衡敏感内容的呈现与学术研究需求，确保符合伦理规范。这些挑战使得荷兰语偏见数据集的开发成为一项复杂而精细的工作。

常用场景

经典使用场景

荷兰 CrowS-Pairs 数据集主要用于测量荷兰语语言模型中的社会偏见，通过对比句子对的形式，评估模型在不同社会群体上的偏见表现。该数据集在自然语言处理领域中被广泛应用于检测和量化语言模型中的性别、种族、宗教等多维度的偏见问题。

实际应用

在实际应用中，荷兰 CrowS-Pairs 数据集被用于评估和改进商业及开源语言模型的公平性。例如，在开发荷兰语聊天机器人或内容生成系统时，该数据集帮助开发者识别和修正模型输出中的潜在偏见，确保技术应用的伦理合规性。

衍生相关工作

基于该数据集的研究衍生了一系列经典工作，包括对 BERTje、RobBERT 等荷兰语模型的系统性偏见分析，以及跨语言偏见比较研究。这些工作进一步推动了多语言偏见检测方法的发展，并为文化敏感的模型优化提供了理论基础。