MSMGenderBias

MSMGenderBias是一个公开可用的数据集，包含MS MARCO Passage Ranking集合中一部分文档的性别偏见标注。该数据集旨在促进对性别偏见检测和测量的研究，特别是利用大型语言模型（LLMs）来检测和衡量性别偏见。数据集的创建基于LLM驱动的性别偏见检测方法和新的性别公平度度量标准Class-wise Weighted Exposure（CWEx）。通过整合LLM驱动的偏见检测、改进的公平度度量标准和性别偏见标注，该数据集提供了一个更强大的框架，用于分析和减轻信息检索系统中的偏见。MSMGenderBias is a publicly available dataset containing gender bias annotations for a subset of documents from the MS MARCO Passage Ranking collection. This dataset aims to advance research on gender bias detection and measurement, particularly leveraging Large Language Models (LLMs) for such tasks. It was developed based on an LLM-driven gender bias detection approach and a novel gender fairness metric, Class-wise Weighted Exposure (CWEx). By integrating LLM-driven bias detection, improved fairness metrics, and gender bias annotations, this dataset provides a more robust framework for analyzing and mitigating bias in information retrieval systems.

原始信息汇总

数据集概述：MSMGenderBias

📌 基本信息

• 数据集名称：MSMGenderBias
• 相关论文：Towards Fair Rankings: Leveraging LLMs for Gender Bias Detection and Measurement
• 许可证：CC BY 4.0
• 联系方式：[e-mail]

📊 数据集内容

• 文件名称：MSMGenderBias.csv
• 数据来源：MS MARCO Passage Ranking collection（子集）
• 字段说明：
  • doc_id：MS MARCO passage identifier
  • gender_bias：性别偏见标签
    • N — 中性（无偏见）
    • M — 男性偏见
    • F — 女性偏见

⚠️ 注意事项

• 原始MS MARCO数据集不包含在此仓库中，需单独从MS MARCO官网申请访问权限。

📚 引用格式

bibtex @inproceedings{mousavian2025towards, title={Towards Fair Rankings: Leveraging LLMs for Gender Bias Detection and Measurement}, author={Maryam Mousavian, Zahra Abbasiantaeb, Mohammad Aliannejadi, Fabio Crestani}, booktitle={ICTIR}, year={2025} }

🙏 致谢

• 感谢微软MS MARCO团队为研究社区提供数据集。

搜集汇总

数据集介绍

构建方式

MSMGenderBias数据集的构建基于MS MARCO Passage Ranking集合的子集标注，通过大型语言模型（LLMs）对文档进行性别偏见分类（中性、男性、女性）。研究团队利用零样本、单样本、三样本及思维链（CoT）提示方法，结合人类标注者的验证，确保标注的准确性和可靠性。数据集包含893个文档，其中636个中性标签，113个女性标签和144个男性标签。

特点

MSMGenderBias数据集的特点在于其细粒度的性别偏见标注，覆盖了中性、男性和女性三类标签，能够捕捉到传统词频方法难以识别的隐性偏见。数据集还引入了新的公平性度量标准CWEx，通过权衡中性文档曝光与性别群体差异，提供了更全面的公平性评估。此外，数据集公开可用，促进了信息检索领域性别偏见研究的进一步发展。

使用方法

MSMGenderBias数据集可用于评估和改善排名模型的性别公平性。研究人员可以通过CWEx等度量标准，分析模型在不同性别类别上的表现差异。此外，数据集还可用于训练和验证新的偏见检测算法，特别是在需要识别复杂和隐性偏见的场景中。使用该数据集时，建议结合人类标注和LLM分类结果，以确保评估的全面性和准确性。

背景与挑战

背景概述

MSMGenderBias数据集由Maryam Mousavian等人于2025年创建，旨在通过大型语言模型（LLMs）检测和衡量信息检索系统中的性别偏见。该数据集基于MS MARCO Passage Ranking集合的子集，标注了性别偏见标签，以促进公平排名研究。研究团队来自瑞士意大利语区大学和阿姆斯特丹大学，核心研究问题聚焦于如何利用LLMs识别文档中的性别偏见，并提出了新的公平性度量标准Class-wise Weighted Exposure (CWEx)。该数据集对信息检索和自然语言处理领域具有重要意义，为解决算法偏见问题提供了新的研究工具和基准。

当前挑战

MSMGenderBias数据集面临的挑战主要包括两方面：1) 领域问题挑战：现有性别偏见度量多依赖词法和频率统计，难以捕捉文本中复杂的性别差异，尤其在排名系统中，偏见可能导致弱势性别群体被系统性忽视；2) 构建过程挑战：数据标注需要处理语义微妙的性别偏见表达，确保标注一致性具有较高难度，同时LLMs自身的潜在偏见可能影响标注质量。此外，如何将二元性别框架扩展到非二元性别场景也是未解决的技术难题。

常用场景

经典使用场景

MSMGenderBias数据集在信息检索和自然语言处理领域中被广泛用于检测和测量排名系统中的性别偏见。该数据集通过标注MS MARCO Passage Ranking子集中的性别偏见，为研究者提供了一个标准化的评估工具，用于分析不同排名模型在性别公平性方面的表现。其经典使用场景包括评估检索模型的公平性、比较不同偏见检测方法的有效性，以及训练和验证新的公平性度量标准。

衍生相关工作

MSMGenderBias数据集衍生了一系列经典研究工作，主要集中在性别偏见检测和公平性度量的改进上。例如，基于该数据集的研究提出了Class-wise Weighted Exposure (CWEx) 度量标准，为排名系统的公平性评估提供了新方法。此外，许多研究利用该数据集验证了大语言模型在性别偏见检测中的有效性，推动了语义分析方法的发展。其他相关工作还包括开发新的偏见缓解算法，以及探索跨领域偏见检测的通用框架，进一步扩展了数据集的应用范围。

数据集最近研究

最新研究方向

近年来，随着大型语言模型（LLMs）在信息检索（IR）和自然语言处理（NLP）领域的广泛应用，社会偏见问题逐渐成为研究热点。MSMGenderBias数据集的推出，为性别偏见检测与测量提供了新的研究工具。该数据集基于MS MARCO Passage Ranking集合的子集，通过人工标注和LLM辅助标注，构建了一个包含中性、男性和女性三类标签的性别偏见数据集。前沿研究主要集中在利用LLMs的语义理解能力，检测文本中隐含的性别偏见，并提出新的公平性度量标准，如Class-wise Weighted Exposure（CWEx）。这一研究方向不仅弥补了传统基于词频的偏见检测方法的不足，还为构建更公平的IR系统提供了理论支持。MSMGenderBias数据集的发布，进一步推动了性别偏见研究的发展，为相关领域的算法优化和评估提供了重要基础。

相关研究论文

• Towards Fair Rankings: Leveraging LLMs for Gender Bias Detection and Measurement

  Università della Svizzera italiana & University of Amsterdam · 2025年