lang-uk/recruitment-dataset-job-descriptions-english

Djinni招聘数据集（英文职位描述部分）包含150,000个职位描述和230,000份匿名候选人简历，这些数据发布于2020年至2023年间的Djinni IT职位平台。数据集包括英文和乌克兰文的样本。数据集包含与职位描述相关的各种属性，如职位名称、职位描述、公司名称、经验要求、关键词、英语水平、发布日期、职位描述语言和唯一标识符。

原始信息汇总

Djinni Dataset (English Job Descriptions part)

概述

Djinni Recruitment Dataset（英语职位描述部分）包含150,000份职位描述和230,000份匿名候选人简历，这些数据发布于2020年至2023年期间在Djinni IT职位平台上。数据集包括英语和乌克兰语样本。

数据集包含与职位描述相关的各种属性，包括职位名称、职位描述、公司名称、经验要求、关键词、英语水平、发布日期、职位描述的语言和唯一标识符。

预期用途

Djinni数据集旨在支持多种应用：

• 推荐系统和语义搜索： 它作为增强职位推荐引擎和语义搜索功能的关键资源，使职位搜索过程更加直观和个性化。

• 大型语言模型（LLMs）的进步： 该数据集为英语和乌克兰语领域特定LLMs提供了宝贵的训练数据。它在提高模型理解和生成能力方面发挥着重要作用，特别是在专业招聘环境中。

• AI辅助招聘中的公平性： 通过作为AI公平性的基准，Djinni数据集有助于减轻AI辅助招聘过程中的偏见，促进更公平的招聘实践。

• 招聘自动化： 该数据集支持简历和职位描述自动化创建工具的开发，简化招聘流程。

• 市场分析： 它提供了对乌克兰科技行业动态的洞察，包括冲突的影响，有助于全面的市场分析。

• 趋势分析和主题发现： 该数据集支持科技行业内趋势分析和主题发现的建模和分类。

• 战略规划： 通过实现公司领域的自动识别，该数据集有助于战略市场规划。

加载数据集

python from datasets import load_dataset

data = load_dataset("lang-uk/recruitment-dataset-job-descriptions-english")[train]

搜集汇总

数据集介绍

构建方式

该数据集源自Djinni IT招聘平台，汇集了2020至2023年间发布的约15万条英文职位描述。每条记录包含职位名称、详细描述、公司名称、经验要求、核心关键词、英语水平、发布日期、语言标识符及唯一ID等多元属性。数据以JSON格式组织，并经由Hugging Face Datasets库进行标准化处理，便于直接加载和调用。构建过程中注重数据的完整性与结构化，确保了后续分析任务的兼容性。

特点

该数据集在规模与多样性上表现突出，覆盖了IT行业广泛的职位类型与技能要求，兼具英文与乌克兰文样本。其特点在于多维度字段设计，不仅包含传统的职位与公司信息，还特别纳入了英语水平、经验年限等关键筛选属性，为语义搜索与推荐系统提供了丰富特征。此外，数据时间跨度覆盖疫情与冲突时期，利于追踪行业动态与市场变迁，服务于公平性评估与趋势建模。

使用方法

用户可通过Hugging Face Datasets库便捷加载该数据集，仅需一行Python代码即可获取训练集。数据适用于监督学习与无监督学习范式，可应用于职位推荐、简历生成、人才匹配等场景。在模型微调方面，其丰富的文本字段适合训练领域特定的语言模型。同时，数据集支持多语言处理与公平性基准测试，研究人员可直接基于其结构化字段进行统计分析或构建分类器，无需额外清洗。

背景与挑战

背景概述

在人工智能与自然语言处理技术迅猛发展的当下，招聘领域的智能化转型备受瞩目，其中职位描述数据的结构化与语义理解成为关键瓶颈。由Nazarii Drushchak和Mariana Romanyshyn于2024年发布的Djinni招聘数据集（英文职位描述部分），源自乌克兰IT招聘平台Djinni在2020至2023年间积累的真实岗位数据，囊括约15万条职位描述，涵盖职位名称、详细描述、公司信息、经验年限、核心关键词及英语水平等多元属性。该数据集不仅为推荐系统与语义搜索提供优质语料，更在推动大型语言模型领域适配、评估AI招聘公平性及自动化流程方面展现出深远影响力，成为连接招聘实务与前沿研究的重要桥梁。

当前挑战

该数据集所应对的核心领域挑战在于招聘文本中隐含的偏见问题，如职位描述可能因措辞差异导致性别或经验歧视，从而影响AI辅助招聘的公平性，亟需通过多样化数据构建去偏算法。在构建过程中，数据采集面临平台多语言混杂（英语与乌克兰语）及非标准化描述的清洗难题，需精细处理缺失值、统一术语粒度；同时，匿名化候选简历与职位描述的匹配关联涉及隐私保护与数据脱敏的复杂权衡，确保在不泄露个人信息的前提下维持语义完整性。此外，时间跨度的覆盖（2020-2023）要求数据版本管理以捕捉行业动态变化，避免模型过时或偏移。

常用场景

经典使用场景

该数据集最经典的使用场景在于构建和优化智能招聘推荐系统与语义搜索引擎。凭借其包含的约15万条英文职位描述及丰富的属性字段，如职位名称、工作职责、经验要求、关键词与英语水平等，研究者可基于此训练高精度的文本匹配与排序模型，实现职位与候选人之间的精准匹配。同时，该数据集为领域专用大语言模型的微调提供了高质量语料，赋能模型在招聘语境下的理解与生成能力，从而推动人岗匹配技术的智能化演进。

解决学术问题

该数据集在学术层面主要解决了招聘领域数据稀缺与偏见评估的困境。此前，针对IT行业的多语言、结构化招聘语料极为匮乏，限制了自然语言处理技术在人力资源场景中的深入研究。该数据集提供了大规模、带标注的职位描述，支持对职位需求趋势、技能演变及语言特征进行量化分析。尤为重要的是，它作为公平性基准测试平台，帮助研究者量化并缓解AI辅助招聘中的性别、经验年限等潜在偏见，促进了公平、透明招聘算法的理论构建。

衍生相关工作

围绕该数据集已衍生出多项具有影响力的研究工作。原始论文《Introducing the Djinni Recruitment Dataset》在UNLP@LREC-COLING 2024发表，系统介绍了数据集的构建与潜在应用。后续研究基于该数据集探索了招聘场景下的大型语言模型微调策略，并开发了用于检测职位描述中隐含偏见的评估框架。此外，部分工作聚焦于多语言招聘文本的跨领域迁移学习，以及利用职位-简历对构建对话式面试模拟系统，推动了人机交互与招聘自动化的交叉创新。