synthetic resume dataset, job post dataset

该数据集由加州大学欧文分校和Cohere的研究人员创建，主要用于研究基于大语言模型（LLM）的招聘系统中的公平性问题。数据集包含525份合成的简历和154个职位发布，涵盖了21个职业和24个领域。简历数据通过社交媒体平台（如LinkedIn、Slack和X）收集，并使用Cohere的Command-R模型生成合成版本，以确保隐私和数据多样性。数据集的应用领域为招聘自动化，旨在解决LLM在简历摘要和检索任务中可能存在的性别和种族偏见问题。This dataset was developed by researchers from the University of California, Irvine and Cohere, primarily for studying fairness issues in large language model (LLM)-enabled recruitment systems. It comprises 525 synthetic resumes and 154 job postings, covering 21 occupations and 24 domains. The resume data was collected from social media platforms such as LinkedIn, Slack, and X, with synthetic versions generated using Cohere's Command-R model to ensure data privacy and diversity. The dataset is applied in recruitment automation, aiming to address potential gender and racial biases in LLM-powered resume summarization and retrieval tasks.

搜集汇总

数据集介绍

构建方式

该数据集的构建基于对大型语言模型（LLMs）在招聘场景中公平性的研究需求。研究者通过生成合成简历数据集和整理真实职位发布信息，模拟了招聘流程中的简历筛选和职位匹配任务。合成简历数据集通过社交媒体平台（如LinkedIn、Slack和X）收集真实简历样本，并使用Cohere的Command-R模型生成525份跨21个职业的合成简历。为了确保隐私，所有简历均经过匿名化处理，并通过模型生成的方式避免了直接使用原始数据。职位发布数据集则从LinkedIn上精心挑选了154个详细职位描述，涵盖了11个职业和11个领域。

使用方法

该数据集主要用于评估大型语言模型在招聘场景中的公平性和鲁棒性。研究者通过简历摘要生成和简历检索两个任务，分析了模型在不同人口群体中的表现差异。在简历摘要生成任务中，研究者通过生成不同长度和视角的简历摘要，评估模型在生成文本时是否存在性别或种族偏见。在简历检索任务中，研究者通过计算简历与职位发布之间的相似度，评估模型在检索过程中是否存在不公平的筛选行为。此外，研究者还通过扰动实验，评估模型对人口统计特征和非人口统计特征变化的敏感性。

背景与挑战

背景概述

合成简历数据集（Synthetic Resume Dataset）和职位发布数据集（Job Post Dataset）由加州大学欧文分校的Preethi Seshadri和Cohere的Seraphina Goldfarb-Tarrant等研究人员于2025年创建，旨在研究大型语言模型（LLMs）在招聘场景中的公平性问题。该数据集通过生成合成简历和收集真实职位发布信息，模拟了LLMs在简历摘要生成和简历检索任务中的表现。研究团队重点关注了模型在不同人口统计群体（如性别和种族）上的行为差异，揭示了LLMs在招聘系统中可能存在的偏见问题。该数据集为评估LLMs在高风险应用中的公平性提供了重要工具，推动了相关领域的研究进展。

当前挑战

该数据集面临的主要挑战包括两个方面：首先，在领域问题方面，LLMs在招聘场景中的公平性问题尚未得到充分研究，尤其是在生成式任务中，模型可能因人口统计信息的扰动而产生不公平的决策。其次，在数据集构建过程中，研究人员需要确保合成简历的多样性和真实性，同时避免引入潜在的偏见。此外，如何准确衡量模型在不同人口统计群体上的行为差异，并设计有效的公平性评估指标，也是构建该数据集时的重要挑战。这些挑战不仅影响了数据集的构建质量，也对后续研究提出了更高的要求。

常用场景

经典使用场景

在招聘领域，synthetic resume dataset和job post dataset的经典使用场景是评估基于大语言模型（LLM）的招聘系统的公平性。通过构建合成简历数据集和精心筛选的职位发布，研究人员能够模拟真实的招聘流程，分析模型在不同人口统计群体中的行为差异。这种场景下，数据集被用于测试模型在简历摘要生成和简历检索任务中的表现，尤其是模型对性别和种族等人口统计扰动的敏感性。

解决学术问题

该数据集解决了招聘系统中大语言模型可能存在的公平性问题。通过分析模型在简历摘要生成和检索任务中的行为，研究发现模型在不同人口统计群体中表现出显著的差异，尤其是在种族和性别方面的扰动敏感性。这些发现揭示了LLM在招聘过程中可能存在的偏见，尤其是在简历检索阶段，模型的选择模式表现出非均匀性，可能导致歧视性结果。该研究为理解和缓解LLM在招聘系统中的公平性问题提供了重要的实证依据。

实际应用

在实际应用中，synthetic resume dataset和job post dataset被用于开发和测试自动化招聘工具，尤其是基于LLM的简历筛选和摘要生成系统。通过模拟真实的招聘流程，企业可以评估其招聘系统在不同人口统计群体中的公平性，确保招聘过程的公正性。此外，该数据集还可用于培训招聘人员，帮助他们识别和避免潜在的偏见，提升招聘决策的透明度和公平性。

数据集最近研究

最新研究方向

近年来，随着大语言模型（LLMs）在招聘等高风险领域的广泛应用，其潜在的公平性问题逐渐成为研究热点。通过构建合成简历数据集和精心筛选的职位发布数据，研究者们深入探讨了LLMs在简历摘要生成和简历检索任务中的公平性表现。研究表明，模型在不同人口统计群体中的行为存在显著差异，尤其是在简历检索阶段，模型对性别和种族等人口统计信息的敏感性较高。尽管在摘要生成任务中，种族差异的影响较为显著（约10%的摘要存在差异），但在检索任务中，所有模型均表现出对人口统计信息的高度敏感性，且对非人口统计信息的扰动也表现出类似的敏感性。这一发现表明，模型的不公平性可能部分源于其整体脆弱性，而非仅仅由编码的偏见引起。该研究为LLMs在招聘系统中的公平性评估提供了新的视角，并强调了在现实场景中进一步验证模型行为的重要性。

相关研究论文

• Who Does the Giant Number Pile Like Best: Analyzing Fairness in Hiring Contexts

  加州大学欧文分校, Cohere · 2025年