TechWolf/Skill-extraction-House-graded

skill-extraction-house-graded数据集是一个用于技能提取任务的分级相关性标注数据集。它基于TechWolf/skill-extraction-house中的句子，并针对ESCO v1.1.0技能分类法进行标注。数据集遵循BEIR（信息检索基准）约定，包含三个主要配置：queries（查询，包含句子ID和文本）、corpus（语料库，包含ESCO技能URI、英文首选标签、英文描述和版本）和qrels（查询-文档相关性，包含查询ID、语料ID和0-4的分级分数）。validation分割提供完整的分级相关性标注（0-4分），其中0表示完全不相关，4表示明确相关；test分割目前仅提供二进制相关性标注（0或1），完整分级标注将在后续发布。该数据集用于评估信息检索或技能推荐系统，支持对句子与技能之间相关性的细粒度分析。数据来源包括欧洲委员会的ESCO分类（CC BY 4.0许可）和TechWolf的源句子（同样CC BY 4.0许可）。

The skill-extraction-house-graded dataset is a graded-relevance annotation dataset for skill extraction tasks. It is based on sentences from TechWolf/skill-extraction-house and annotated against the ESCO v1.1.0 skill taxonomy. The dataset follows the BEIR (Benchmarking Information Retrieval) convention and includes three main configurations: queries (containing sentence IDs and texts), corpus (containing ESCO skill URIs, English preferred labels, English descriptions, and version), and qrels (query-document relevance scores with query IDs, corpus IDs, and graded scores from 0 to 4). The validation split provides full graded relevance annotations (0-4), where 0 indicates totally unrelated and 4 indicates explicitly demonstrated relevance; the test split currently offers real but binary relevance labels (0 or 1), with fine-grained graded annotations to be released later. This dataset is designed for evaluating information retrieval or skill recommendation systems, enabling fine-grained analysis of relevance between sentences and skills. Data sources include the European Commissions ESCO classification (licensed under CC BY 4.0) and source sentences from TechWolf (also CC BY 4.0).

搜集汇总

数据集介绍

构建方式

Skill-extraction-House-graded数据集以TechWolf/skill-extraction-house为语料来源，基于ESCO v1.1.0技能分类体系构建检索基准。其布局遵循BEIR标准范式，包含queries、corpus与qrels三个配置模块。queries配置收录61条来自原语料库的句子作为查询项，corpus配置则包含13,891条ESCO技能条目，每条对应唯一URI、英文标签及描述文本。qrels配置提供完整的847,351条相关性标注，验证集采用0至4的精细分级评分，展现句子与技能之间的关联程度。测试集当前采用了真实但二元的标注方式，仅区分相关与不相关，更细粒度的分级评分将在后续挑战赛后释出。

特点

该数据集最突出的特点在于其专业化与精细化的标注质量。验证集全面采用了0至4分的梯度评分体系，从完全无关（0分）到明确请求或展示（4分）勾勒出逐级递进的相关性图谱。其中，2分标注表示技能虽可推荐但粒度不合核心，3分标注则指出技能虽为强相关但更偏向隐含而非显式表达，这种细腻区分在技能检索数据集中极为罕见。此外，数据集蕴含13,891条ESCO标准化技能实体，覆盖广泛职业领域，兼具层次化结构与跨领域适用性。这些特征使数据集成为衡量技能匹配模型性能的高质量评测基准。

使用方法

该数据集专为技能检索与匹配任务设计，用户可直接利用BEIR框架无缝加载。queries配置中的句子可作为检索查询，corpus配置中的ESCO技能条目作为候选集，而qrels配置提供了标准化的相关性评估标准。使用者可基于验证集的精细分级评分（0-4分）进行模型调优与性能度量的同时，借助测试集进行最终效果的盲测评估。数据集支持以默认的validation与test两种模式运行，其中验证集覆盖全量精细标注，适合模型训练与调试；测试集包含261条查询及其二元真实性标注，适用于最终效果比对，待比赛结束后分级标注也将完整公开。

背景与挑战

背景概述

技能抽取与匹配是自然语言处理与人力资源技术交叉领域中的核心任务，其目标是从非结构化的文本（如职位描述、简历）中自动识别并关联标准化技能体系。Skill-extraction-House-graded数据集由TechWolf机构创建，基于ESCO v1.1.0技能分类体系，对来自TechWolf/skill-extraction-house的句子进行了0-4级的相关性标注。发布于2023年至2024年间，该数据集遵循BEIR检索基准格式，包含61条查询句子、13,891条技能文档以及逾84万条相关性标注对，为技能检索和推荐系统提供了精细化的评估基准。其在人力资源管理领域的智能化转型中扮演重要角色，推动了从人工技能匹配向自动语义检索的范式跃迁，尤其对职位推荐、技能差距分析等场景具有深远影响。

当前挑战

该数据集所解决的领域问题核心在于技能抽取与检索中的细粒度相关性判断。传统方法多依赖二值相关或粗糙分级，难以捕捉技能与文本间隐含的语义层次——例如，一项技能虽未显式提及但强烈暗示（如评分3），或技能粒度与查询不完全匹配（如评分2）。构建过程中，标注团队需基于ESCO的13,891条技能条目对61句文本进行全面评估，面临标注规模庞大（847,351条记录）与评分标准主观性之间的平衡挑战。验证集虽提供了完整0-4级标注，但测试集受限于竞赛安排仅采用二值标注，导致模型评估在训练与真实场景间存在落差。此外，数据集依赖单一语言（英语）和固定分类体系（ESCO 1.1.0），限制了跨语言或动态技能体系的泛化能力。

常用场景

经典使用场景

在人才招聘与职业技能匹配的研究领域中，Skill-extraction-House-graded 数据集被广泛用于评估和训练模型从非结构化文本中抽取技能实体的能力。其核心应用场景是作为检索式技能抽取（retrieval-based skill extraction）的基准测试集，尤其适用于衡量系统在 ESCO 技能分类体系下对句子与技能之间的细粒度相关性（0-4级）进行排序的效果。通过该数据集，研究者能够严格检验模型在理解隐含技能、区分粒度层级以及识别明确技能声明等方面的表现，从而推动技能抽取技术向更贴近真实场景的精细化方向演进。

实际应用

在实际应用中，Skill-extraction-House-graded 数据集支撑着多个关键场景的落地。例如，在招聘平台的简历解析与职位匹配环节，模型可基于该数据集学习到的细粒度相关性判断，从海量自由文本中精准推荐最相关的技能标签，避免因粒度过粗或过细导致的推荐偏差。此外，它还能赋能职业发展路径规划系统，通过分析员工能力描述中隐含但未明示的技能，为用户生成个性化的技能提升建议。在人才市场分析领域，该数据集可用于构建企业岗位需求与求职者能力的语义对齐模型，实现大规模的自动技能缺口检测与趋势洞察，显著提升人力资源管理的智能化与效率。

衍生相关工作

该数据集已衍生出一系列具有影响力的经典工作。例如，基于其BEIR格式的检索框架，研究者开发了面向技能抽取的检索增强生成（Retrieval-Augmented Generation, RAG）流水线，通过将句子查询与ESCO技能库进行细粒度排序，再将高相关技能作为上下文输入大语言模型以生成结构化技能摘要。此外，RecSys-HR挑战赛（如WorkRB网站所发布的2026年赛事）以该数据集的测试集为基准，促使参赛团队探索对比学习、多任务联合训练及跨语言迁移等前沿方法。这些工作共同揭示了细粒度相关性标注在提升技能推荐系统精确度与可解释性方面的巨大潜力，并推动了技能抽取领域从单点分类走向语义检索与复杂推理的新阶段。