TechWolf/Skill-normalisation-ESCO-graded

该数据集名为skill-normalisation-esco-graded，是一个用于技能术语标准化和检索的带分级相关性标注的数据集。它基于ESCO v1.1.0技能分类法，将表面技能术语（ESCO替代标签）与ESCO技能分类法进行匹配，并提供了0-4分的分级相关性标注。数据集遵循BEIR标准，适用于MTEB风格的检索评估器。包含三个配置：queries（50个查询，包括查询ID和文本）、corpus（13,891个技能条目，包括技能URI、英文首选标签和描述）和qrels（694,550个相关性标注，包括查询ID、语料库ID和0-4分的评分）。评分越高表示相关性越强，每个查询对应所有ESCO技能条目。数据集分为验证集和测试集，测试集目前提供二元相关性标注（0或1），而细粒度分级标注将在RecSys-HR挑战赛后发布。数据来源于欧盟委员会的ESCO v1.1.0分类，采用CC BY 4.0许可证。

The dataset skill-normalisation-esco-graded provides graded-relevance annotations for surface skill terms (ESCO alt-labels) against the ESCO v1.1.0 skill taxonomy. It follows the BEIR convention for drop-in use with MTEB-style retrieval evaluators. It includes three configs: queries (50 rows with query ID and text), corpus (13,891 rows with skill URI, English preferred label, description, and ESCO version), and qrels (694,550 rows with query-id, corpus-id, and a 0-4 relevance score). Higher scores indicate greater relevance, with every query having one row per ESCO skill. The dataset is split into validation and test sets, where the test set currently has binary relevance labels (0 or 1) derived from public ground truths, while fine-grained graded annotations for the test set are withheld for the RecSys-HR challenge and will be released later. The data is sourced from ESCO v1.1.0 under CC BY 4.0 license.

搜集汇总

数据集介绍

构建方式

该数据集基于欧盟ESCO v1.1.0技能分类体系构建，聚焦于表层技能术语与标准化技能概念的匹配任务。构建过程从ESCO官方提供的技能标准化配对数据中提取地面实况，选取了50个典型备选标签作为查询项，并将全部13,891个ESCO技能条目作为检索语料库。每一查询均与整个语料库形成13,891个相关性判断对，共计694,550条标注记录。相关性评分采用0至4的细粒度分级体系，其中0级表示不相关，4级表示高度相关，确保了检索质量评估的精确性。数据集布局严格遵循BEIR规范，可直接嵌入MTEB框架的检索评估流程。

特点

该数据集的核心特色在于其细粒度分级相关性标注机制，不同于传统的二元相关性判断，0至4的评分尺度能够更细腻地捕捉技能术语与标准概念间的语义匹配程度。数据覆盖范围全面，每一个查询均与全部ESCO技能条目进行配对，实现了密度极高的相关性矩阵，为技能归一化任务提供了丰富的评估基础。此外，数据集配备了验证集和测试集双拆分，其中测试集虽暂时仅提供二元标签，但保留了细粒度分数的未来发布空间，支持长期基准研究。来源均为欧盟官方数据，确保了权威性与可溯源性。

使用方法

该数据集专为检索型评估任务设计，可直接加载至MTEB框架中用于技能归一化模型的评测。用户可通过HuggingFace Datasets库按配置名称加载不同部分：queries配置提供了查询文本及其唯一标识，corpus配置包含ESCO技能条目的URI、优选标签及英文描述，qrels配置则提供了查询与语料库之间的相关性评分。验证集包含完整的0至4分级分数，适用于模型训练与调优验证；测试集目前提供二元相关性标签，适用于公开基准测试。此外，数据集支持自定义的检索评估脚本，用户可依据BEIR接口进行灵活调用。

背景与挑战

背景概述

Skill-normalisation-ESCO-graded数据集由欧洲委员会ESCO团队于2022年创建，旨在解决劳动力市场中技能术语的标准化问题。该数据集基于ESCO v1.1.0技能分类体系，收录了50条查询、13,891个技能文档及694,550条分级相关性标注，覆盖从0到4的精细相关度等级。其核心研究问题在于自动化地将非正式技能术语（如ESCO替代标签）映射到标准化的技能本体中，为人才招聘、职业匹配系统提供可靠评估基准。作为BEIR格式的即插即用资源，该数据集显著推动了信息检索领域在技能标准化任务上的发展，尤其为RecSys-HR挑战赛提供了关键测试集，影响辐射至人力资源科技与知识图谱方向。

当前挑战

数据集面临的核心挑战在于技能标准化任务本身的语义鸿沟：非结构化的表面术语（如‘Java编程’）需精准对齐到ESCO分类体系中13,891个细粒度技能节点，而同一技能可能对应多种表达方式（如‘机器学习’与‘ML’），导致相关性判定存在高度模糊性。构建过程中，验证集虽实现了0-4级全量人工标注，但测试集当前仅含二元相关标签（1表示相关，0表示无关），缺失的精细标注需待2026年RecSys-HR竞赛结束后补全，这限制了模型在细粒度排序上的评估完整性。此外，标签分布极端不均衡——仅0.02%的样本获得3-4级高相关性标签，对检索模型的鲁棒性提出严峻考验。

常用场景

经典使用场景

在职业与劳动力市场的语义计算领域，技能规范化是连接非结构化文本与标准化技能本体之间的关键桥樑。Skill-normalisation-ESCO-graded 数据集专为评估和训练技能规范化检索系统而设计，其经典使用场景是将求职简历中的自由文本技能描述（如“Python编程”）映射到ESCO技能分类体系中的标准化概念上。该数据集提供了50条查询、13,891个候选技能作为语料库，并引入了从0到4的五级精细相关性标注，使得研究者能够基于BEIR框架，在检索式排序任务中精确衡量模型对技能术语与标准本体之间语义匹配的效能。

衍生相关工作

围绕该数据集已衍生出一系列具有影响力的研究与实践工作。在学术层面，基于其分级标注的MTEB风格检索评估框架被多家研究机构采纳，用于对比稠密检索与稀疏检索方法在技能规范化任务上的表现。在竞赛层面，RecSys-HR 2026挑战赛以该数据集的测试集作为封闭评测基准，吸引了全球团队开发更鲁棒的语义推理模型。此外，ESCO本体本身所驱动的技能图谱构建、跨语种技能迁移以及终身学习推荐系统等方向，均以该数据集作为关键验证节点，形成了从数据标注到算法优化再到系统应用的完整创新链条。

数据集最近研究

最新研究方向

Skill-normalisation-ESCO-graded数据集当前聚焦于技能标准化检索与分级相关性评估的前沿研究，尤其紧扣欧洲技能分类体系（ESCO）在人力资源与劳动力市场分析中的热点应用。该数据集通过引入细粒度0-4级评分体系，为表面技能术语与ESCO标准分类之间的映射任务提供了量化基准，支撑着基于检索的技能匹配模型优化。其设计遵循BEIR格式，便于集成至MTEB风格评估框架，推动了技能提取、人才推荐与职业路径规划的深度学习研究。随着RecSys-HR挑战赛中测试集的分级标注暂缓公开，该数据集正成为人岗匹配与技能缺口分析领域的关键实验平台，其影响辐射至劳动经济学、教育对接与智能招聘系统的可解释性评估。