GeoEDdA: A Gold Standard Dataset for Named Entity Recognition and Span Categorization Annotations of Diderot & d'Alembert's Encyclopédie

This repository contains a gold standard dataset for named entity recognition and span categorization annotations from Diderot & d’Alembert’s Encyclopédie entries. The dataset is available in the following formats: JSONL format provided by Prodigy binary spaCy format (ready to use with the spaCy train pipeline) The Gold Standard dataset is composed of 2,200 paragraphs out of 2,001 Encyclopédie's entries randomly selected. All paragraphs were written in 19th-century French. The spans/entities were labeled by the project team along with using pre-labelling with early machine learning models to speed up the labelling process. A train/val/test split was used. Validation and test sets are composed of 200 paragraphs each: 100 classified under 'Géographie' and 100 from another knowledge domain. The datasets have the following breakdown of tokens and spans/entities. Tagset NC-Spatial: a common noun that identifies a spatial entity (nominal spatial entity) including natural features, e.g. ville, la rivière, royaume. NP-Spatial: a proper noun identifying the name of a place (spatial named entities), e.g. France, Paris, la Chine. ENE-Spatial: nested spatial entity , e.g. ville de France , royaume de Naples, la mer Baltique. Relation: spatial relation, e.g. dans, sur, à 10 lieues de. Latlong: geographic coordinates, e.g. Long. 19. 49. lat. 43. 55. 44. NC-Person: a common noun that identifies a person (nominal spatial entity), e.g. roi, l'empereur, les auteurs. NP-Person: a proper noun identifying the name of a person (person named entities), e.g. Louis XIV, Pline. ENE-Person: nested people entity, e.g. le czar Pierre, roi de Macédoine. NP-Misc: a proper noun identifying entities not classified as spatial or person, e.g. l'Eglise, 1702, Pélasgique ENE-Misc: nested named entity not classified as spatial or person, e.g. l'ordre de S. Jacques, la déclaration du 21 Mars 1671. Head: entry name Domain-Mark: words indicating the knowledge domain (usually after the head and between parenthesis), e.g. Géographie, Geog., en Anatomie. HuggingFace The GeoEDdA dataset is available on the HuggingFace Hub: https://huggingface.co/datasets/GEODE/GeoEDdA spaCy Custom Spancat trained on Diderot & d’Alembert’s Encyclopédie entries This dataset was used to train and evaluate a custom spancat model for French using spaCy. The model is available on HuggingFace's model hub: https://huggingface.co/GEODE/fr_spacy_custom_spancat_edda. Acknowledgement The authors are grateful to the ASLAN project (ANR-10-LABX-0081) of the Université de Lyon, for its financial support within the French program "Investments for the Future" operated by the National Research Agency (ANR). Data courtesy the ARTFL Encyclopédie Project, University of Chicago.本仓库包含一份金标准数据集（gold standard dataset），用于对狄德罗与达朗贝尔《百科全书（Encyclopédie）》的条目开展命名实体识别与跨度分类标注。 该数据集提供以下两种格式：由Prodigy生成的JSONL格式，以及可直接适配spaCy训练流水线的二进制spaCy格式。 此金标准数据集从随机选取的2001部《百科全书》条目中提取了2200段文本，所有文本均采用19世纪法语书写。 标注团队借助早期机器学习模型生成预标注以加速标注流程，完成了全部跨度/实体的标注工作。数据集采用训练集/验证集/测试集的划分方式：验证集与测试集各包含200段文本，其中100段归类于「Géographie（地理学）」领域，剩余100段来自其他知识领域。数据集的词元（Token）与跨度/实体标注明细如下。 标注集（Tagset）： 1. 空间普通名词（NC-Spatial）：用于标识空间实体的普通名词（名词性空间实体），涵盖自然地貌等类别，示例包括：ville、la rivière、royaume。 2. 空间专有名词（NP-Spatial）：用于标识地名的专有名词（空间命名实体），示例包括：France、Paris、la Chine。 3. 嵌套空间实体（ENE-Spatial）：由多层空间信息构成的标注单元，示例包括：ville de France、royaume de Naples、la mer Baltique。 4. 空间关系（Relation）：用于描述空间关联的词汇，示例包括：dans、sur、à 10 lieues de。 5. 地理坐标（Latlong）：用于标识地理位置的坐标信息，示例包括：Long. 19. 49. lat. 43. 55. 44。 6. 人物普通名词（NC-Person）：用于指代人物的普通名词（名词性人物实体），示例包括：roi、l'empereur、les auteurs。 7. 人物专有名词（NP-Person）：用于标识具体人物的专有名词（人物命名实体），示例包括：Louis XIV、Pline。 8. 嵌套人物实体（ENE-Person）：由多层人物相关信息构成的标注单元，示例包括：le czar Pierre、roi de Macédoine。 9. 杂项专有名词（NP-Misc）：用于指代未归类为空间或人物实体的专有名词，示例包括：l'Eglise、1702、Pélasgique。 10. 嵌套杂项实体（ENE-Misc）：由多层未归类为空间或人物的信息构成的标注单元，示例包括：l'ordre de S. Jacques、la déclaration du 21 Mars 1671。 11. 条目标题（Head）：对应《百科全书》条目的名称。 12. 领域标识词（Domain-Mark）：用于指示知识领域的词汇（通常位于条目标题之后的括号内），示例包括：Géographie、Geog.、en Anatomie。 HuggingFace 平台： GeoEDdA数据集已上传至HuggingFace Hub平台，链接为：https://huggingface.co/datasets/GEODE/GeoEDdA 基于本数据集训练的自定义spaCy跨度分类模型： 本数据集被用于训练并评估一款基于spaCy打造的法语自定义跨度分类模型。该模型已上传至HuggingFace模型库，链接为：https://huggingface.co/GEODE/fr_spacy_custom_spancat_edda 致谢： 作者感谢里昂大学ASLAN项目（ANR-10-LABX-0081），该项目由法国国家科研署（ANR）运营的「未来投资计划」提供资金支持。本数据集由芝加哥大学ARTFL《百科全书》项目提供。