medieval-data/medieval-latin-ner-HOME-Alcar

该NER数据集来源于Stutzmann等人于2021年发布的HOME-Alcar: Aligned and Annotated Cartularies数据集。数据集经过转换，从原始格式转换为spaCy格式，并包含嵌套的span，这对于理解特定个体的身份与特定地点的关联非常重要。数据集中的实体标注包括地点（LOC）和人物（PERS）。

This NER dataset originates from the HOME-Alcar: Aligned and Annotated Cartularies dataset published by Stutzmann et al. in 2021. The dataset has been converted from its original format to spaCys format and includes nested spans, which are crucial for understanding the association of specific individual identities with particular locations. The datasets entity annotations include locations (LOC) and persons (PERS).

原始信息汇总

数据集概述

数据集信息

• 名称: HOME-Alcar: Aligned and Annotated Cartularies
• 作者:
  • Stutzmann, Dominique
  • Torres Aguilar, Sergio
  • Chaffenet, Paul
• 发布日期: 2021年11月
• 发布者: Zenodo
• DOI: 10.5281/zenodo.5600884
• 许可证: CC BY 4.0

数据集描述

• 内容: 该数据集包含嵌套的实体标注，主要用于命名实体识别（NER）任务。数据集中的实体类型包括地点（LOC）和人物（PERS）。
• 格式转换: 数据集从原始格式转换为spaCy格式，使用convert.ipynb笔记本进行转换。
• 使用建议: 由于数据集包含嵌套的实体标注，建议使用spaCy的SpanCat管道进行处理。

示例数据

json { "text": "In nomine Domini , amen . Ego Mauricius , Dei gracia Parisiensis episcopus , universitati presencium ac futurorum hujus pagine attestatione notificare curamus quod dominus Guido de Levies , pia et honesta consideratione ductus , ad edificandam quandam novellam plantationem , amore Dei et remedio anime sue et animarum parentum predecessorum suorum , fratribus ibi Deo servituris in perpetuam elemosinam donavit unam carrucam de terra quam emit des Fers Dasnois , et de decima duas partes quas ab hiisdem emit , et unam partem nemoris quantum semita dividit versus terram datam ; hanc elemosinam in manu nostra resignatam benigne tribuit . Sciendum autem quod de hac elemosina investivimus Guidonem , quondam presbiterum de Meencort , pro se et pro aliis ibi Deo se reddituris . Actum apud Sanctum Victorem , astantibus Petro , precentore Parisiensi ; Nicholao , presbitero ; Philippo , canonico ; Haimerico , capellano nostro ; Enardo , presbitero de Balneolis ; fratre Stephano de Monte-Fermeolo ; incarnationis dominice anno millesimo centesimo XCu00ba , episcopatus nostri tricesimo sexto . ", "spans": [ {"text": "Parisiensis", "label": "LOC", "start": 11, "end": 12}, {"text": "Levies", "label": "LOC", "start": 27, "end": 28}, {"text": "Fers Dasnois", "label": "LOC", "start": 68, "end": 70}, {"text": "Meencort", "label": "LOC", "start": 113, "end": 114}, {"text": "Sanctum Victorem", "label": "LOC", "start": 127, "end": 129}, {"text": "Parisiensi", "label": "LOC", "start": 134, "end": 135}, {"text": "Balneolis", "label": "LOC", "start": 153, "end": 154}, {"text": "Monte-Fermeolo", "label": "LOC", "start": 158, "end": 159}, {"text": "Mauricius", "label": "PERS", "start": 7, "end": 8}, {"text": "Guido de Levies", "label": "PERS", "start": 25, "end": 28}, {"text": "Guidonem", "label": "PERS", "start": 108, "end": 109}, {"text": "Petro", "label": "PERS", "start": 131, "end": 132}, {"text": "Nicholao", "label": "PERS", "start": 136, "end": 137}, {"text": "Philippo", "label": "PERS", "start": 140, "end": 141}, {"text": "Haimerico", "label": "PERS", "start": 144, "end": 145}, {"text": "Enardo", "label": "PERS", "start": 149, "end": 150}, {"text": "Stephano de Monte-Fermeolo", "label": "PERS", "start": 156, "end": 159} ], "ms": "Notre_Dame_Roche_Paris_BnF_10996" }

引用

plaintext @dataset{stutzmann_2021_5600884, author = {Stutzmann, Dominique and Torres Aguilar, Sergio and Chaffenet, Paul}, title = {HOME-Alcar: Aligned and Annotated Cartularies}, month = nov, year = 2021, publisher = {Zenodo}, doi = {10.5281/zenodo.5600884}, url = {https://doi.org/10.5281/zenodo.5600884} }

搜集汇总

数据集介绍

构建方式

中世纪拉丁语作为欧洲历史文献的核心语言，承载着丰富的宗教、法律与行政信息。该数据集源自HOME-Alcar项目，基于对齐与标注的教廷档案（Cartularies）构建。原始语料经学术出版物（DOI: 10.5281/zenodo.5600884）收录后，通过自定义的Notebook（convert.ipynb）将原始格式转换为spaCy兼容的格式。转换过程要求将数据库下载至根目录，确保数据完整迁移。数据集保留了嵌套跨度（nested spans）结构，以捕捉身份与地点的紧密关联，即地点实体常作为人物身份的一部分出现。

特点

该数据集的核心特征在于其嵌套标注机制，反映了中世纪文献中人物与地点的复杂关联。实体类型涵盖地点（LOC）与人物（PERS），例如在示例文本中，“Parisiensis”标注为地点，“Mauricius”标注为人物，且人物“Guido de Levies”跨越多个词元。这种设计避免了扁平化标注丢失语义细节，尤其适用于分析教廷档案中人物身份的地域依附性。数据集格式直接适配spaCy的SpanCat管道，便于处理层级化实体关系，为历史文本挖掘提供了精细化的标注基准。

使用方法

使用该数据集时，推荐基于spaCy框架的SpanCat管道进行实体识别。用户可加载转换后的JSON格式数据，通过spaCy的训练接口定义嵌套跨度（nested spans）作为目标标签。示例数据展示了文本与对应跨度列表的存储结构，其中每个跨度包含起始位置、结束位置及标签类型。研究人员应利用span_cat组件训练模型，以捕捉实体间的层级关系。此外，数据集以CC-BY-4.0许可发布，需引用原始文献（Stutzmann et al., 2021）以确保学术规范。

背景与挑战

背景概述

中世纪拉丁语作为欧洲中世纪文献的核心语言，承载着大量历史、法律与宗教信息，但其复杂的语法结构和词汇演变给自然语言处理带来了独特挑战。medieval-data/medieval-latin-ner-HOME-Alcar数据集由Dominique Stutzmann、Sergio Torres Aguilar和Paul Chaffenet于2021年创建，源自HOME-Alcar项目，旨在对齐并标注中世纪拉丁语特许状（Cartularies）中的命名实体。该数据集聚焦于地点（LOC）与人物（PERS）两类实体，核心研究问题在于如何处理嵌套实体关系——例如人物身份常与地点紧密关联。作为中世纪拉丁语NER领域的开创性资源，它为历史文本的自动化分析提供了基础，推动了数字人文与计算语言学交叉领域的发展。

当前挑战

该数据集面临的核心挑战在于嵌套实体的精确识别与表示。在中世纪拉丁语文本中，人物实体常包含地点信息（如“Guido de Levies”），导致实体边界重叠，需依赖spaCy的SpanCat管道而非标准序列标注方法。构建过程中，原始数据从Zenodo下载后需经格式转换（如Notebook中的convert.ipynb），但嵌套标注的复杂性增加了转换误差风险。此外，数据集仅包含LOC和PERS两类标签，对组织名、时间表达式等实体的缺失限制了其通用性。语言层面，中世纪拉丁语的拼写变体（如“Parisiensis”与“Parisiensi”）和罕见地名（如“Monte-Fermeolo”）进一步加剧了标注一致性挑战，需专家介入以确保历史准确性。

常用场景

经典使用场景

在中世纪拉丁语文献的数字化研究中，命名实体识别（NER）是解析历史文本的关键技术。该数据集专为处理嵌套实体而设计，例如地点实体嵌入于人物身份描述中，这要求采用spaCy的SpanCat管道进行层次化标注。经典使用场景包括从拉丁语契约、特许状等法律文书中自动提取人物（PERS）与地点（LOC）实体，以重构中世纪社会网络与地理分布。

解决学术问题

该数据集主要解决了历史语言学与数字人文学科中，中世纪拉丁语非标准化文本的实体标注难题。传统NER模型因忽略实体嵌套关系而丢失语义关联，而本数据集通过保留“人物-地点”的复合结构，使研究者能精准分析个体身份与地域归属的绑定关系。其意义在于为跨语料库的历史社会空间分析提供了可复用的标注基准，推动了对中世纪权力结构、迁徙模式及领土治理的量化研究。

衍生相关工作

该数据集衍生了一系列重要工作，包括对HOME-Alcar语料库的跨语言NER模型迁移研究，以及针对嵌套实体标注的改进型算法开发。例如，有学者基于此数据扩展了中世纪拉丁语实体链接任务，将提取的实体与地理数据库（如Pleiades）关联，实现了历史地名的空间化映射。此外，该数据集还催生了针对低资源历史语言的预训练语言模型微调方法，为类似语种的数字化保护提供了技术范式。