TechWolf/Skill-extraction-Tech-graded

这是一个基于TechWolf/skill-extraction-tech数据集的句子，针对ESCO v1.1.0技能分类体系进行分级相关性标注的数据集。数据集遵循BEIR格式，包含三个部分：queries（查询句子，共75条，包含句子ID和文本）、corpus（ESCO技能条目，共13,891条，包含技能URI、英文标签、英文描述和版本信息）和qrels（查询-技能相关性评分，共1,041,825条，包含查询ID、技能ID和评分）。评分采用0-4级标准：0表示完全不相关，1表示技能领域正确但未在句子中提及，2表示可推荐但非核心，3表示强相关但隐含，4表示明确展示或请求。验证集提供完整分级标注，测试集目前为二元相关性标注（0或1），未来将发布完整分级标注。数据集用于检索和技能提取任务，语言为英语，基于CC BY 4.0许可证。

Graded-relevance annotations for sentences from TechWolf/skill-extraction-tech against the ESCO v1.1.0 skill taxonomy. The dataset follows the BEIR convention and includes three configs: queries (75 sentences with IDs and text), corpus (13,891 ESCO skill entries with URIs, English labels, descriptions, and version), and qrels (1,041,825 query-skill relevance scores). Scores range from 0-4: 0 for totally unrelated, 1 for correct domain but not mentioned, 2 for plausible but not core, 3 for strongly relevant but implied, and 4 for explicitly demonstrated. The validation split has full graded annotations, while the test split currently has binary relevance (0 or 1), with full graded annotations to be released later. It is used for retrieval and skill extraction tasks, in English, under CC BY 4.0 license.

搜集汇总

数据集介绍

构建方式

Skill-extraction-Tech-graded数据集基于TechWolf/skill-extraction-tech中的句子与ESCO v1.1.0技能分类体系构建，严格遵循BEIR检索评估标准。数据以三部分组织：queries包含75条句子及对应ID；corpus收录13,891条ESCO技能条目，涵盖URI、英文标签及描述；qrels提供超过百万条查询-文档对的分级相关性标注。验证集采用完整的0-4五级评分体系，测试集则保留实二值标注（相关/不相关），以支持渐进式评估。

特点

该数据集的核心特色在于其精细化的分级相关性标注机制，评分从0（完全无关）到4（明确显式相关），涵盖领域正确性、粒度匹配和隐含关联等多维语义维度。验证集实现了全量分级标注，测试集虽为二值标注但源自真实基准，确保了评估的可靠性。数据组织遵循BEIR标准格式，无结构修改。

使用方法

用户可通过HuggingFace Datasets库加载三个配置：queries（验证集和测试集）、corpus（全部语料）及qrels（分级相关性标注）。典型使用场景包括训练和评估技能抽取或检索模型，将句子作为查询，ESCO技能作为文档进行相关性排序。测试集当前仅提供二值标签，完整0-4级标注将在RecSys-HR挑战赛后发布。

背景与挑战

背景概述

技能抽取任务在人才管理与招聘领域扮演着至关重要的角色，旨在从非结构化的文本中精准识别和提取职业技能，以支持职位匹配、技能缺口分析等工作。Skill-extraction-Tech-graded数据集由TechWolf团队于2023年左右创建，基于欧洲技能分类体系ESCO v1.1.0，聚焦于技术领域的技能抽取。该数据集的核心研究问题在于构建一个细粒度的、带有分级相关性标注的检索基准，以评估模型从句子到技能本体的映射能力。通过对75条查询与13891个技能实体的全量标注，生成超过百万条分级相关记录，显著提升了技能抽取任务的评估可靠性，对招聘智能与人力资源分析领域的研究具有重要推动作用。

当前挑战

数据集面临的首要领域挑战是技能抽取中本体对齐的粒度问题：传统二元相关性难以捕捉技能与文本间的隐式关联或层级包含关系，而本数据集采用0-4级评分体系，虽精细但增大了标注一致性的难度。构建过程中的挑战则在于全量标注的高昂成本——验证集需对104万对查询-实体组合进行分级评分，这要求标注者具备专业领域知识以区分“领域正确但未提及”与“强相关但隐含”等细微差异。此外，测试集因持续举办的RecSys-HR竞赛而暂未完全公开细粒度标注，使得基准评估在竞赛期间限于二元可靠结果，对模型泛化能力的充分验证构成挑战。

常用场景

经典使用场景

该数据集专为技能抽取与检索任务而设计，其核心使用场景在于从非结构化文本（如职位描述、简历语句）中精准识别与欧洲技能分类体系ESCO v1.1.0相关联的技能实体。通过提供细粒度的分级相关性标注（0-4分），它支持对技能推荐系统的训练与评估，尤其适用于需要理解技能语义层次与匹配精度的信息检索任务。研究者可基于'查询-语料库-相关性判断'的三元组结构，构建或微调基于BERT的密集检索模型，实现对技能要素的高效召回与排序。

实际应用

在实际应用中，该数据集赋能了多种人才管理工具。企业招聘系统可借助基于此数据集训练的模型，自动从海量简历中提取候选人的隐性技能，并对照ESCO标准进行精准映射。职业发展平台能根据职位描述与个人技能之间的语义相似度，提供个性化培训推荐或职业转型建议。此外，人力资源分析软件得以实现技能差距的自动化诊断，帮助组织优化人才配置，在智能化招聘、技能审计与劳动力规划等场景中发挥核心作用。

衍生相关工作

围绕该数据集已催生一系列前沿工作。在检索领域，研究者利用其分级标注改进对比学习框架（如SimCSE），在ESCO知识库上训练领域自适应编码器。在推荐系统方向，出现了结合图神经网络与技能层次结构的技能推荐模型，将查询中的技能隐含程度建模为注意力权重。此外，该数据集支撑了RecSys-HR挑战赛，推动多模态技能表示学习与跨领域迁移方法的迭代。这些工作共同促进了可解释性技能推理与终身职业学习系统的发展。