jensjorisdecorte/skill-extraction-house

该数据集包含`SkillSpan`数据集中`HOUSE`子集的扩展，其中句子中的技能提及被标记为相应的ESCO技能（ESCO v1.1.0）。该数据集是用于技能提取的三部分评估数据集之一。

This dataset contains an extension of the `HOUSE` subset form the SkillSpan dataset, in which spans of skill mentions in sentences have been labeled with corresponding ESCO skills (ESCO v1.1.0). This dataset is part of a three-part evaluation dataset for skill extraction: skill-extraction-tech, skill-extraction-house, and skill-extraction-techwolf.

原始信息汇总

数据集概述

数据集名称

• 名称: skill-extraction-house
• 别名: jensjorisdecorte/skill-extraction-house, Skill Extraction - HOUSE

数据集描述

• 描述: 该数据集是SkillSpan数据集中HOUSE子集的扩展，其中包含句子中技能提及的跨度，并标记了相应的ESCO技能（ESCO v1.1.0）。该数据集是技能提取的三部分评估数据集之一，包括skill-extraction-tech、skill-extraction-house和skill-extraction-techwolf。

数据集创建者

• 创建者: Jens-Joris Decorte
• URL: https://hf-mirror.com/jensjorisdecorte

数据集关键词

• 关键词: text-classification, English, mit, 1K - 10K, csv, Text, Datasets, pandas, Croissant, arxiv:2209.05987, arxiv:2204.12811, 🇺🇸 Region: US, Skill Extraction

数据集许可

• 许可: MIT License
• URL: https://choosealicense.com/licenses/mit/

数据集URL

• URL: https://hf-mirror.com/datasets/jensjorisdecorte/skill-extraction-house

数据集结构

• 分布:

  • 类型: cr:FileObject

  • ID: repo

  • 名称: repo

  • 描述: The HF Mirror git repository.

  • 内容URL: https://hf-mirror.com/datasets/jensjorisdecorte/skill-extraction-house/tree/refs%2Fconvert%2Fparquet

  • 编码格式: git+https

  • sha256: https://github.com/mlcommons/croissant/issues/80

  • 类型: cr:FileSet

  • ID: parquet-files-for-config-default

  • 名称: parquet-files-for-config-default

  • 描述: The underlying Parquet files as converted by HF Mirror (see: https://hf-mirror.com/docs/datasets-server/parquet).

  • 包含于: repo

  • 编码格式: application/x-parquet

  • 包含: default//.parquet

• 记录集:

  • 类型: cr:RecordSet
  • ID: default
  • 名称: default
  • 描述: jensjorisdecorte/skill-extraction-house - default subset
    • 2 splits: validation, test
  • 字段:

    • 类型: cr:Field

    • ID: default/sentence

    • 名称: default/sentence

    • 描述: Column sentence from the HF Mirror parquet file.

    • 数据类型: sc:Text

    • 来源:

      • 文件集: parquet-files-for-config-default
      • 提取: column: sentence

    • 类型: cr:Field

    • ID: default/span

    • 名称: default/span

    • 描述: Column span from the HF Mirror parquet file.

    • 数据类型: sc:Text

    • 来源:

      • 文件集: parquet-files-for-config-default
      • 提取: column: span

    • 类型: cr:Field

    • ID: default/sub_span

    • 名称: default/sub_span

    • 描述: Column sub_span from the HF Mirror parquet file.

    • 数据类型: sc:Text

    • 来源:

      • 文件集: parquet-files-for-config-default
      • 提取: column: sub_span

    • 类型: cr:Field

    • ID: default/label

    • 名称: default/label

    • 描述: Column label from the HF Mirror parquet file.

    • 数据类型: sc:Text

    • 来源:

      • 文件集: parquet-files-for-config-default
      • 提取: column: label

数据集符合的标准

• 符合标准: http://mlcommons.org/croissant/1.0

搜集汇总

数据集介绍

构建方式

在劳动力市场智能分析领域，技能抽取任务旨在从非结构化文本中识别并归类与职业能力相关的术语。本数据集基于SkillSpan语料库中的HOUSE子集进行深度扩展，通过人工标注将句子中的技能提及片段与欧洲技能分类体系ESCO v1.1.0中的标准技能条目进行精确映射。构建过程遵循严格的标注协议，确保每个技能跨度均对应唯一的ESCO标识符，从而形成高质量的监督学习资源。该数据集是系列评估基准的一部分，与其姊妹版本共同构成对远程监督技能抽取模型的评测框架。

特点

该数据集规模精巧，样本量不足千条，却覆盖了家庭服务领域内多样化的技能表述。其核心特色在于融合了细粒度的序列标注与标准化知识库映射，每个实例均包含原始文本、技能跨度位置以及ESCO技能编码，为模型提供了从自由文本到结构化技能本体的完整学习范式。数据集的构建源于学术论文中提出的负采样策略设计研究，因此特别适合用于评估模型在有限标注样本下对技能边界的识别能力与跨域泛化性能。

使用方法

该数据集可直接应用于文本分类与序列标注任务，使用者可通过HuggingFace Datasets库加载数据，获取包含‘tokens’、‘ner_tags’及‘esco_labels’等字段的标准化格式。推荐基于预训练语言模型（如BERT）构建技能抽取管道，将ESCO编码作为分类目标，利用该数据集的窄域标注特性进行微调。研究者亦可将其作为评估基准，结合配套的Tech与TechWolf子集，系统性地分析不同领域下技能抽取模型的鲁棒性与迁移表现。

背景与挑战

背景概述

在人力资源管理领域，从非结构化文本中自动提取技能信息已成为一项关键任务，尤其是在招聘、职业匹配和人才分析等应用中。jensjorisdecorte/skill-extraction-house数据集由Jens-Joris Decorte及其团队于2022年创建，源自TechWolf研究机构，旨在解决技能提取任务中的细粒度标注问题。该数据集是SkillSpan数据集的扩展子集，专注于将句子中技能提及的跨度与ESCO分类体系（v1.1.0）中的具体技能进行对齐。作为三部分评估数据集之一，它与其他子集共同推动了基于远程监督的技能抽取方法研究，其核心研究问题在于如何通过负采样策略提升模型在技能识别任务中的泛化能力。该数据集在RecSys-in-HR 2022研讨会上发布，为后续技能抽取系统的性能评估提供了标准化基准，对职业推荐系统的发展产生了重要影响。

当前挑战

该数据集所面临的挑战主要体现在两方面。在领域问题层面，技能提取任务需要从多样化的非结构化文本中精准识别并分类技能提及，但技能表述的模糊性、同义性以及上下文依赖性使得模型难以准确区分技能与非技能实体，同时ESCO分类体系的层次化结构增加了多粒度匹配的复杂性。在构建过程中，研究人员需将原始SkillSpan数据集中的手动标注跨度映射到ESCO技能标签，这一过程面临标注不一致性和覆盖不全的困难；此外，负采样策略的设计尤为关键，如何从大量非技能文本中选取具有代表性的负例以平衡数据分布，直接影响了远程监督模型的训练效果，而数据规模较小（n<1K）进一步加剧了模型过拟合的风险。

常用场景

经典使用场景

在自然语言处理与人才管理交叉领域，技能抽取任务旨在从非结构化的文本数据中精准识别并归类与职业技能相关的表述。该数据集聚焦于家政服务场景（HOUSE子集），为每一句语料中的技能提及片段标注了对应的ESCO（欧洲技能、能力、资格与职业分类体系）技能标签。其经典使用场景在于作为评估基准，与技能抽取技术、TechWolf等子集共同构成三部分标准化评测体系，用于检验远程监督或全监督模型在细粒度技能实体识别与标准化映射上的表现。

衍生相关工作

围绕该数据集衍生了一系列具有影响力的学术探索。核心工作包括Decorte等人（2022）提出的远程监督负采样策略设计，系统研究了不同负样本生成方式对技能抽取模型性能的影响，并揭示了标注噪声与类别不平衡问题的耦合机制。此外，后续研究将该基准用于对比全监督与远程监督方法的性能边界，并催生了面向多语言、多领域技能抽取的迁移学习框架。这些工作共同构建了从数据构建、模型评估到实际部署的方法论链条，推动了技能智能抽取领域从实验室研究向工业级应用的转化。

数据集最近研究

最新研究方向

在人力资源与劳动经济学领域，技能提取作为连接职位描述与人才匹配的核心技术，正逐步向细粒度、标准化与多源融合方向演进。jensjorisdecorte/skill-extraction-house数据集基于ESCO（欧洲技能、能力、资格与职业分类体系）v1.1.0标准，对SkillSpan数据集中的HOUSE子集进行了扩展标注，将句子中的技能提及片段精准映射至标准化技能本体。这一工作推动了从自由文本到结构化技能图谱的语义对齐，尤其适用于远程监督学习中的负采样策略设计，以缓解标签稀疏与噪声问题。当前前沿研究聚焦于利用该数据集评估跨领域技能抽取模型的泛化能力，并结合Tech与TechWolf子集构建多维度基准，为自动化招聘简历解析、技能缺口分析及个性化职业推荐系统提供高信效度的评测平台。该数据集的发布标志着技能抽取研究从粗粒度分类迈向精细化本体匹配的关键一步，对欧盟乃至全球的劳动力市场智能化转型具有显著示范意义。