thesofakillers/SemCor

SemCor 3.0数据集是从SemCor 1.6自动创建的，通过将WordNet 1.6映射到WordNet 3.0的语义标注。SemCor 1.6由普林斯顿大学创建并拥有。部分WordNet 1.6的词义在3.0版本中被删除，因此在3.0数据库中无法检索到这些词义。缺失的词义在WordNet 3.0中用0（wnsn=0）表示。该映射由UNT实验室的Rada Mihalcea完成。数据集主要用于词义消歧任务，语言为英文，大小为100K到1M之间。

SemCor 3.0 dataset was automatically created from SemCor 1.6 by mapping the semantic annotations based on WordNet 1.6 to those of WordNet 3.0. SemCor 1.6 was created and owned by Princeton University. Some word senses from WordNet 1.6 were removed in WordNet 3.0, so these senses are no longer retrievable from the WordNet 3.0 database. The missing word senses are denoted as 0 (wnsn=0) in WordNet 3.0. This mapping task was completed by Rada Mihalcea at the UNT Laboratory. This dataset is primarily used for word sense disambiguation tasks, is in English, and its size ranges between 100K and 1M.

原始信息汇总

数据集概述

• 名称: SemCor
• 语言: 英语
• 多语言性: 单语
• 许可证: 其他
• 创建者: 专家生成
• 数据集大小: 100K<n<1M
• 源数据: 原始
• 标签:
  • 词义消歧
  • semcor
  • wordnet
• 任务类别: 文本分类
• 任务ID: 主题分类

数据集详细信息

• 数据集摘要: SemCor 3.0 是通过将 WordNet 1.6 映射到 WordNet 3.0 感官自动从 SemCor 1.6 创建的。SemCor 1.6 由普林斯顿大学创建并拥有。在映射过程中，部分 WordNet 1.6 的词义被遗弃，无法在 3.0 数据库中检索。使用 wnsn=0 表示 WordNet 3.0 中缺失的感官。

• 语言: 英语

• 许可证信息: 本软件和数据库由普林斯顿大学根据以下许可提供。获取、使用和/或复制此软件和数据库，您同意已阅读、理解并遵守这些条款和条件。允许出于任何目的和无费用或版税复制、修改和分发此软件和数据库及其文档，前提是您同意遵守普林斯顿大学的版权通知和声明，包括免责声明，并且这些内容出现在所有数据库副本上，包括您为内部使用或分发所做的修改。

• 引用信息: bibtex @inproceedings{miller-etal-1993-semantic, title = "A Semantic Concordance", author = "Miller, George A. and Leacock, Claudia and Tengi, Randee and Bunker, Ross T.", booktitle = "{H}uman {L}anguage {T}echnology: Proceedings of a Workshop Held at Plainsboro, New Jersey, March 21-24, 1993", year = "1993", url = "https://aclanthology.org/H93-1061", }

搜集汇总

数据集介绍

构建方式

SemCor数据集的构建源于对词义消歧（Word Sense Disambiguation）领域数据资源的深度整合。该数据集由SemCor 1.6版本通过自动映射技术演进至3.0版本，将原始基于WordNet 1.6的语义标注体系迁移至WordNet 3.0的义项框架。这一映射过程由北德克萨斯大学语言与信息技术实验室的Rada Mihalcea主导完成，旨在弥合不同WordNet版本间的语义鸿沟。值得注意的是，部分在WordNet 1.6中存在的义项因在3.0版本中被移除，而采用特殊的零值（wnsn=0）进行标记，以标识这些缺失的语义对应关系。数据集原始语料源自布朗语料库等权威英文文本，经由普林斯顿大学专家级人工标注，确保了语义标签的准确性与权威性。

特点

SemCor数据集的核心特点在于其作为词义消歧任务黄金标准资源的卓越地位。数据集涵盖超过20万个标注实例，每个实例均以词汇为单位标注其在WordNet 3.0中的精确义项编号，形成了高密度的语义标注体系。其标注粒度精细至每个实义词的上下文相关词义，为训练和评估词义消歧模型提供了无与伦比的基准。此外，数据集保留了原始文本的篇章结构，支持基于句子和文档级别的语义分析。其专家生成（expert-generated）的标注质量确保了数据的高度可靠性与一致性，使其成为自然语言处理领域验证词义消歧算法性能的不可或缺的测试平台。

使用方法

使用SemCor数据集时，研究者可通过HuggingFace Datasets库直接加载，数据集被划分为训练集和测试集，便于开展监督学习实验。数据实例以JSON格式呈现，包含原始文本片段及每个词的词性标签、WordNet义项编号等字段。典型应用场景包括训练词义消歧分类器，其中模型需根据上下文预测目标词汇的正确义项。研究者亦可将其作为多义词表示学习的语料，或用于评估预训练语言模型在词义理解上的能力。加载后，可通过访问'text'字段获取句子，'lemma'和'pos'字段获取词法信息，'wnsn'字段获取WordNet义项标识，从而构建输入特征与标签对进行模型训练与评测。

背景与挑战

背景概述

SemCor数据集由普林斯顿大学George A. Miller等人于1993年创建，是词义消歧（Word Sense Disambiguation, WSD）领域的奠基性资源。该数据集以WordNet为语义框架，通过专家标注为英文文本中的每个实词赋予精确的WordNet词义标签，从而为自然语言理解研究提供了标准化的训练与评估基准。作为最早且规模最大的手工标注语义语料库之一，SemCor极大地推动了WSD任务的发展，其影响力贯穿数十年，至今仍是评估WSD模型性能的核心参考。该数据集最初基于WordNet 1.6构建，后由北德克萨斯大学的Rada Mihalcea团队自动映射至WordNet 3.0，形成了广泛使用的SemCor 3.0版本，进一步扩展了其适用性。

当前挑战

SemCor所解决的领域核心挑战在于词义消歧，即如何从上下文语境中准确识别多义词的特定含义，这是自然语言处理中深层次语义理解的关键瓶颈。在构建过程中，专家需对大量文本逐词标注，耗时且成本高昂，同时面临WordNet版本迭代带来的词义映射问题：部分早期词义在后续版本中被移除，导致标注数据出现空洞，需以零值（wnsn=0）标记缺失。此外，数据集的规模限制（约10万至100万样本）与语言单一性（仅英语）也制约了其在跨语言或大规模场景下的泛化能力，而自动映射过程虽提升了效率，却可能引入误差，影响标注一致性。

常用场景

经典使用场景

在自然语言处理领域中，词义消歧（Word Sense Disambiguation, WSD）是一项基础而富有挑战性的任务，其核心在于为上下文中的多义词精准指派正确的语义标签。SemCor数据集作为该方向最具权威性的黄金标准资源之一，其经典使用场景便是作为监督式词义消歧模型的训练与评估基准。研究者可借助该数据集中每个词汇实例所关联的WordNet义项编号，构建基于上下文的分类模型，如利用卷积神经网络或Transformer架构捕捉局部语义特征，从而实现对多义词的精确判别。该数据集对句子级与篇章级消歧任务均具适配性，是验证算法泛化能力不可或缺的测试平台。

衍生相关工作

SemCor数据集催生了众多里程碑式的学术工作，深刻影响了词义消歧乃至整个语义计算领域的发展轨迹。早期经典如采用朴素贝叶斯与决策树的方法以该数据集为评估基准，验证了监督学习在消歧任务中的有效性。近年来，基于预训练语言模型的消歧范式如GlossBERT与EWISE等，均将SemCor作为微调与测试的核心语料，通过融合上下文与义项释义实现了性能突破。此外，多任务学习框架将消歧与词性标注、语义角色标注联合建模，而知识增强方法则利用WordNet层级结构注入先验知识，这些代表性工作的涌现均离不开SemCor提供的标准化评价平台，其衍生研究持续推动着语言理解技术的边界拓展。

数据集最近研究

最新研究方向

在自然语言处理领域，词义消歧（Word Sense Disambiguation, WSD）一直是实现深层语义理解的核心挑战。SemCor作为最经典、规模最大的手工标注词义消歧数据集，其权威性源于普林斯顿大学基于WordNet体系的专家标注。近年来，随着预训练语言模型（如BERT、RoBERTa）的兴起，研究者们发现这些模型在上下文中隐含了丰富的语义表征，但它们在细粒度词义区分上仍存在显著瓶颈。因此，前沿研究方向聚焦于如何将SemCor的高质量标注与大规模无监督预训练范式深度融合，例如通过设计对比学习或知识蒸馏框架，让模型在SemCor的监督信号下学习更精确的词义边界。与此同时，多义词在信息检索、机器翻译和问答系统中的歧义问题日益凸显，使得基于SemCor的评估基准成为衡量模型语义鲁棒性的重要标尺。该数据集不仅为WSD任务提供了黄金标准，更推动了从静态词向量到上下文动态表征的范式跃迁，其影响已延伸至知识图谱构建和领域自适应等前沿课题。