SpeedOfMagic/ontonotes_english

ontonotes_english数据集是一个预处理版本，假设是OntoNotes v5.0。数据集中的句子被解包并以行为单位存储，字段名称被重命名以匹配conll2003格式。数据来源于一个私有仓库，该仓库又从另一个未知位置的公共仓库获取数据。数据集没有许可证，但据称没有许可问题。数据集支持的任务包括命名实体识别、共指消解和语义角色标注。数据集的语言为英语，包含训练集、验证集和测试集。数据实例包括tokens和ner_tags字段，ner_tags字段使用BIO标记命名实体。

The OntoNotes_English dataset is a preprocessed version presumed to be based on OntoNotes v5.0. Sentences in the dataset are unpacked and stored line by line, with field names renamed to match the CoNLL-2003 format. The dataset is sourced from a private repository, which retrieves data from a public repository with an unknown location. No license is provided for the dataset, but it is claimed that there are no licensing issues. Supported tasks for this dataset include named entity recognition (NER), coreference resolution, and semantic role labeling (SRL). The dataset is in English and contains training, validation, and test splits. Data instances include the `tokens` and `ner_tags` fields, where the `ner_tags` field uses BIO tagging for named entities.

原始信息汇总

数据集概述

基本信息

• 数据集名称: ontonotes_english
• 语言: 英语
• 许可: 未知
• 数据集大小: 10K<n<100K
• 任务类型:
  • 命名实体识别 (Named Entity Recognition)

数据集描述

数据集摘要

这是一个预处理版本的OntoNotes v5.0数据集。数据集中的句子被解包并以行形式存储，字段被重命名以匹配conll2003数据集。数据来源是一个私有仓库，该仓库从另一个未知位置的公共仓库获取数据。由于所有仓库的数据都没有许可证，因此不存在许可问题。

支持的任务和排行榜

• 命名实体识别 (Named Entity Recognition)
  • Named Entity Recognition on Ontonotes v5 (English)

数据结构

数据实例

json { "tokens": ["Well", ",", "the", "Hundred", "Regiments", "Offensive", "was", "divided", "into", "three", "phases", "."], "ner_tags": [0, 0, 29, 30, 30, 30, 0, 0, 0, 27, 0, 0] }

数据字段

• tokens (List[str]): 原始数据集中的单词。
• ner_tags (List[ClassLabel]): 原始数据集中的命名实体。使用BIO标签表示句子中的命名实体。
  • 标签集: datasets.ClassLabel(num_classes=37, names=["O", "B-PERSON", "I-PERSON", "B-NORP", "I-NORP", "B-FAC", "I-FAC", "B-ORG", "I-ORG", "B-GPE", "I-GPE", "B-LOC", "I-LOC", "B-PRODUCT", "I-PRODUCT", "B-DATE", "I-DATE", "B-TIME", "I-TIME", "B-PERCENT", "I-PERCENT", "B-MONEY", "I-MONEY", "B-QUANTITY", "I-QUANTITY", "B-ORDINAL", "I-ORDINAL", "B-CARDINAL", "I-CARDINAL", "B-EVENT", "I-EVENT", "B-WORK_OF_ART", "I-WORK_OF_ART", "B-LAW", "I-LAW", "B-LANGUAGE", "I-LANGUAGE"])

数据分割

• 训练集 (train)
• 验证集 (validation)
• 测试集 (test)

数据集创建

数据来源

数据来自一个私有仓库，该仓库从另一个未知位置的公共仓库获取数据。

许可信息

无许可证

引用信息

bibtex @inproceedings{pradhan-etal-2013-towards, title = "Towards Robust Linguistic Analysis using {O}nto{N}otes", author = {Pradhan, Sameer and Moschitti, Alessandro and Xue, Nianwen and Ng, Hwee Tou and Bj{"o}rkelund, Anders and Uryupina, Olga and Zhang, Yuchen and Zhong, Zhi}, booktitle = "Proceedings of the Seventeenth Conference on Computational Natural Language Learning", month = aug, year = "2013", address = "Sofia, Bulgaria", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/W13-3516", pages = "143--152", }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，命名实体识别（NER）是信息抽取的核心任务之一，而OntoNotes语料库作为多层级语义标注的里程碑资源，为相关研究提供了坚实的数据基础。本数据集SpeedOfMagic/ontonotes_english源自OntoNotes v5.0的预处理版本，其构建方式独具匠心：原始数据以文件形式存储的句子被解包并转化为行结构，字段名称亦经过统一重命名以兼容conll2003格式。数据来源虽经私有仓库中转，但据称源自公开资源且无许可证限制，确保了可获取性。最终形成包含训练、验证与测试三分的标准划分，为序列标注任务提供了即用型数据。

特点

该数据集的核心特点在于其精细的标注体系与广泛的应用潜力。标注覆盖37种BIO标签，涵盖人物、组织、地理位置、时间、货币等18类实体类型，粒度细致入微。数据规模介于10K至100K之间，兼顾了模型训练的效率与泛化能力。尤为突出的是，该数据集不仅支持经典的命名实体识别任务，还能延伸至共指消解与语义角色标注等复杂语义分析场景，体现了OntoNotes语料库层次化标注的深厚底蕴。这种多任务兼容性使其成为评估语言模型鲁棒性的理想基准。

使用方法

使用该数据集进行模型训练时，可直接通过HuggingFace的datasets库加载，无需额外预处理。数据实例以字典形式呈现，包含'tokens'词序列与'ner_tags'整数编码标签，标签映射已预定义为37类别ClassLabel，便于快速集成至PyTorch或TensorFlow框架。研究人员可依据标准的三划分（训练、验证、测试）开展实验，或结合conll2003格式的兼容性进行跨数据集迁移学习。建议在应用前核实标签索引与实体类型的对应关系，并注意数据来源无官方许可证的潜在风险，确保合规使用。

背景与挑战

背景概述

OntoNotes v5.0 是由多个研究机构（包括宾夕法尼亚大学、科罗拉多大学等）合作构建的大规模多层级语料库，其核心研究问题在于为自然语言处理提供统一的语义和句法标注框架。该数据集于2013年由Pradhan等人正式发布，旨在解决传统语料库在命名实体识别、语义角色标注和指代消解等任务上标注不一致的难题。凭借其丰富的标注层次（涵盖词性、句法树、谓词-论元结构及篇章指代），OntoNotes成为评估自然语言理解系统鲁棒性的基准，对后续深度学习模型（如BERT、SpanBERT）在结构化语义任务上的突破产生了深远影响。

当前挑战

该数据集面临的挑战主要体现在两个方面：其一，领域问题层面，OntoNotes虽覆盖新闻、电话对话等多样文本，但标注体系复杂（包含18种实体类型和多种语义角色），导致模型在低资源场景下泛化能力不足，尤其对嵌套实体和长距离指代关系的识别仍存在显著瓶颈。其二，构建过程中，原始语料来自多个来源（如LDC许可数据），版本追溯困难，且本版本缺乏明确的许可证，可能引发合规性风险。此外，标注一致性受限于人工成本，部分稀有实体类别（如法律、语言类）的样本稀疏，加剧了类别不平衡问题。

常用场景

经典使用场景

OntoNotes English 数据集是自然语言处理领域中多层级语义标注的典范资源，其经典使用场景集中于命名实体识别（NER）任务的基准评测。该数据集涵盖了来自新闻、电话对话、博客等多样语域的英文文本，并采用细粒度BIO标签体系对18种实体类型（如人物、组织、地点、事件等）进行精确标注。研究者常利用其预定义的训练、验证与测试划分，训练序列标注模型以识别文本中的命名实体，并以此作为模型性能的黄金标准。这一场景不仅验证了模型在异构文本上的泛化能力，还推动了从传统条件随机场到现代预训练语言模型（如BERT、RoBERTa）的迭代演进，成为NER领域不可或缺的测试平台。

解决学术问题

该数据集在学术研究中主要解决了多任务联合学习与跨领域泛化的关键挑战。通过整合命名实体识别、指代消解与语义角色标注等多种标注信息，OntoNotes English 为探索不同语言分析任务间的相互作用提供了统一框架，有效缓解了单一任务模型对上下文理解的局限性。它使研究者能够设计共享表示层，同时预测实体边界、事件提及与论元结构，从而提升整体语言理解的鲁棒性。此外，其多语域特性促进了领域适应技术的研究，帮助揭示模型在新闻与口语数据间的性能差异，为构建更通用的自然语言理解系统奠定了坚实基础。

衍生相关工作

OntoNotes English 数据集衍生了一系列影响深远的经典工作。其中，基于BERT的微调模型在OntoNotes NER任务上刷新了多项记录，证明了预训练语言模型在细粒度实体识别中的优势。指代消解领域，e2e-coref等端到端系统利用该数据集的共指标注，实现了篇章级实体链接的突破。语义角色标注方面，Deep SRL等模型通过OntoNotes的论元结构数据，推动了基于深度学习的谓词-论元分析。此外，多任务学习框架如MT-DNN也依托该数据集验证了共享表示的有效性。这些工作不仅提升了各自子任务的性能，还共同促进了自然语言处理向更综合的语言理解范式演进。