TechWolf/Skill-extraction-SkillSkape-graded

该数据集名为skill-extraction-skillskape-graded，是一个用于技能提取任务的分级相关性标注数据集。它基于来自`jjzha/skillskape`数据集的句子，并针对ESCO（欧洲技能、能力、资格和职业）v1.1.0技能分类体系进行了相关性标注。数据集的布局遵循BEIR（信息检索基准）惯例，可直接用于MTEB（大规模文本嵌入基准）风格的检索评估器。数据集包含三个主要配置：queries（查询，包含100个句子及其ID）、corpus（语料库，包含13,891个ESCO技能条目，每个条目有技能URI、英文首选标签、英文描述和ESCO版本信息）和qrels（查询-文档相关性判断，包含1,389,100行数据，每行有查询ID、语料库ID和相关性分数）。相关性分数采用0-4的等级标度，其中0表示不相关，4表示最相关。每个查询都针对所有13,891个ESCO技能进行了标注（即每个查询有13,891行qrels数据）。数据集分为验证集（validation split）和测试集（test split）。验证集已完全标注了0-4的分级相关性；测试集目前仅提供二进制相关性标注（1表示真正相关，0表示不相关），其细粒度分级标注将在RecSys-HR挑战赛结束后发布。数据来源于欧洲委员会的ESCO分类（CC BY 4.0许可）和`jjzha/skillskape`数据集（同样CC BY 4.0许可），标注本身也以CC BY 4.0许可发布。The dataset skill-extraction-skillskape-graded provides graded-relevance annotations for sentences from the `jjzha/skillskape` dataset against the ESCO v1.1.0 skill taxonomy. Its layout follows the BEIR convention, making it a drop-in for MTEB-style retrieval evaluators. It includes three configs: queries (100 sentences with IDs), corpus (13,891 ESCO skill entries with URIs, English preferred labels, descriptions, and ESCO version), and qrels (1,389,100 rows of query-document relevance judgments with scores on a 0-4 scale, where higher scores indicate greater relevance). Every query is annotated against all 13,891 ESCO skills. The dataset has validation and test splits: the validation split is fully graded (0-4), while the test split currently has binary relevance labels (1 for genuinely relevant, 0 otherwise), with fine-grained graded annotations withheld for an ongoing challenge and to be released later. Data sources include the ESCO classification (CC BY 4.0) and `jjzha/skillskape` (CC BY 4.0), with annotations released under CC BY 4.0.

搜集汇总

数据集介绍

构建方式

该数据集是基于jjzha/skillskape语料库中的句子，针对ESCO v1.1.0技能分类体系进行分级相关性标注构建而成。遵循BEIR框架的布局规范，以实现与MTEB风格检索评估器的即插即用兼容。数据集包含三个配置：queries（验证集与测试集共600条句子）、corpus（13,891条ESCO技能条目，包含URI、英文标签与描述）以及qrels（1,389,100条相关性评分记录，采用0-4的精细分级尺度）。验证集采用完全分级标注，而测试集目前提供二值化标签，其细粒度0-4评分将在后续竞赛结束后公开。

使用方法

使用者可直接将数据集用于基于检索的技能提取任务评估，尤其适用于MTEB风格的零样本或微调场景。通过加载queries、corpus及qrels三个配置，可轻松构建标准的检索评估流水线。对于验证集，可利用全量0-4分级标签进行精细化性能诊断；对于测试集，可先利用二值化标签进行初步评估，待后续细粒度标签发布后深入分析。推荐结合BEIR或MTEB工具库进行模型评测，亦可用于训练端到端的技能相关性排序模型。

背景与挑战

背景概述

在劳动市场数字化转型的浪潮中，精准的技能抽取与匹配机制成为连接求职者能力与岗位需求的桥梁。Skill-extraction-SkillSkape-graded数据集由研究机构基于欧洲技能、能力、资格与职业分类体系（ESCO v1.1.0）构建，旨在解决非结构化文本中技能实体的自动识别与相关性排序问题。该数据集于2023年前后创建，核心研究团队依托于Skillskape项目，通过为来自工作描述等来源的句子提供0-4级细粒度相关性标注，填补了技能抽取领域缺乏高质量分级基准的空白。其采用BEIR格式设计，可无缝接入MTEB评估框架，为信息检索与自然语言处理社区提供了标准化评测工具。该数据集的发布显著推动了技能感知检索系统的发展，尤其在欧洲人力资本管理与就业匹配应用场景中具有标杆意义。

当前挑战

该数据集面临的核心领域挑战在于技能抽取任务中语义多样性导致的匹配歧义——同一技能词汇在不同语境下可能指代截然不同的能力层级，而现有二元相关标注难以反映这种细微差别。数据构建过程中则遭遇标注一致性难题：评估者需对13,891个技能条目与100条查询构成的密集矩阵进行分级打分，最终产生超过138万条标注记录，其中绝大多数为不相关（等级0），导致正样本极度稀疏（等级2-4仅占0.2%）。此外，测试集采用临时二元标注策略，仅标记真实相关项（视为等级1），待RecSys-HR挑战结束后才释放完整分级标签，这种阶段性发布机制虽保护了竞赛公平性，却对研究者在非竞赛场景下的即时实验构成了数据可用性壁垒。

常用场景

经典使用场景

Skill-extraction-SkillSkape-graded数据集在技能抽取与语义检索领域扮演着标杆角色，其经典使用场景是将自然语言中的岗位描述或简历句子与ESCO v1.1.0技能分类体系进行细粒度匹配。研究者借助该数据集训练和评估检索模型，实现从非结构化文本中精准识别并关联标准化技能标签，从而推动自动化技能标注与职位解析技术的发展。

解决学术问题

该数据集解决了技能抽取领域缺乏高质量、细粒度标注基准的学术困境。通过提供0-4分级相关性标注，它使研究者能够超越传统二元匹配，深入探索技能与文本之间的语义关联强度。这一精细化的评估体系促进了模型在语义相似度计算、跨域迁移学习及噪声鲁棒性等方向的研究，为构建更精准的人才与岗位匹配系统奠定了方法论基础。

实际应用

在实际应用层面，该数据集赋能了人力资源科技领域的多项创新。招聘平台可基于其训练模型，自动从海量简历中抽取标准化技能标签，实现岗位描述与候选人能力的智能匹配。在线职业培训系统则能利用该技术，分析用户过往经历，推荐个性化的技能提升课程，从而优化再就业与终身学习路径。

数据集最近研究

最新研究方向

在当前劳动力市场动态演变与技能需求快速迭代的背景下，Skill-extraction-SkillSkape-graded数据集聚焦于从非结构化文本中精准抽取与欧洲技能分类标准（ESCO）对齐的技能实体，其前沿研究正围绕分级相关性的检索评估展开。该数据集通过提供四档评分（0-4）的细粒度标注，为模型在技能匹配任务中的鲁棒性测试提供了黄金标准，尤其是测试集采用二元相关性标记以支持即将进行的RecSys-HR挑战赛，推动了人力资源推荐系统中技能检索与排序算法的实证研究。这一资源不仅促进了技能本体与自然语言描述的跨模态对齐，还强化了欧盟ESCO框架在自动化技能分析与就业市场智能匹配中的实际应用价值，对构建可解释、高精度的职业技能图谱具有里程碑式意义。