projecte-aina/ancora-ca-ner

--- annotations_creators: - expert-generated language_creators: - found language: - ca license: - cc-by-4.0 multilinguality: - monolingual pretty_name: ancora-ca-ner size_categories: - unknown source_datasets: [] task_categories: [] task_ids: [] --- # Dataset Card for AnCora-Ca-NER ## Dataset Description - **Website:** https://zenodo.org/records/4761746 - **Homepage** [Projecte AINA](https://projecteaina.cat/tech/) - **Repository** [HuggingFace](https://huggingface.co/projecte-aina) - **Paper:** [Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan](https://arxiv.org/abs/2107.07903) - **Paper:** [AnCora: Multilevel Annotated Corpora for Catalan and Spanish](http://www.lrec-conf.org/proceedings/lrec2008/pdf/35_paper.pdf) - **Point of Contact** [e-mail] ### Dataset Summary This is a dataset for Named Entity Recognition (NER) in Catalan. It adapts <a href="http://clic.ub.edu/corpus/">AnCora corpus</a> for Machine Learning and Language Model evaluation purposes. This dataset was developed by [BSC TeMU](https://temu.bsc.es/) as part of the [Projecte AINA](https://politiquesdigitals.gencat.cat/ca/economia/catalonia-ai/aina/), to enrich the [Catalan Language Understanding Benchmark (CLUB)](https://club.aina.bsc.es/). ### Supported Tasks and Leaderboards Named Entities Recognition, Language Model ### Languages The dataset is in Catalan (`ca-ES`). ## Dataset Structure ### Data Instances Three two-column files, one for each split. <pre> Fundació B-ORG Privada I-ORG Fira I-ORG de I-ORG Manresa I-ORG ha O fet O un O balanç O de O l' O activitat O del O Palau B-LOC Firal I-LOC </pre> ### Data Fields Every file has two columns, with the word form or punctuation symbol in the first one and the corresponding IOB tag in the second one. ### Data Splits We took the original train, dev and test splits from the [UD version of the corpus](https://huggingface.co/datasets/universal_dependencies) - train: 10,630 examples - validation: 1,429 examples - test: 1,528 examples ## Dataset Creation ### Curation Rationale We created this corpus to contribute to the development of language models in Catalan, a low-resource language. ### Source Data #### Initial Data Collection and Normalization [AnCora](http://clic.ub.edu/corpus/) consists of a CatCAalan corpus (AnCora-CA) and a Spanish corpus (AnCora-ES), each of them of 500,000 tokens (some multi-word). The corpora are annotated for linguistic phenomena at different levels. AnCora corpus is mainly based on newswire texts. For more information, refer to Taulé, M., M.A. Martí, M. Recasens (2009): <a href="http://www.lrec-conf.org/proceedings/lrec2008/pdf/35_paper.pdf">"AnCora: Multilevel Annotated Corpora for Catalan and Spanish”</a>, Proceedings of 6th International Conference on language Resources and Evaluation. #### Who are the source language producers? Catalan [AnCora corpus](http://clic.ub.edu/corpus/) is compiled from articles from the following news outlets: <a href="https://www.efe.com">EFE</a>, <a href="https://www.acn.cat">ACN</a>, <a href="https://www.elperiodico.cat/ca/">El Periodico</a>. ### Annotations #### Annotation process We adapted the NER labels from [AnCora corpus](http://clic.ub.edu/corpus/) to a token-per-line, multi-column format. #### Who are the annotators? Original annotators from [AnCora corpus](http://clic.ub.edu/corpus/). ### Personal and Sensitive Information No personal or sensitive information included. ## Considerations for Using the Data ### Social Impact of Dataset We hope this corpus contributes to the development of language models in Catalan, a low-resource language. ### Discussion of Biases [N/A] ### Other Known Limitations [N/A] ## Additional Information ### Dataset Curators Text Mining Unit (TeMU) at the Barcelona Supercomputing Center ([e-mail]) This work was funded by the [Departament de la Vicepresidència i de Polítiques Digitals i Territori de la Generalitat de Catalunya](https://politiquesdigitals.gencat.cat/en/inici/index.html) within the framework of [Projecte AINA](https://politiquesdigitals.gencat.cat/ca/economia/catalonia-ai/aina/). ### Licensing information This work is licensed under a <a rel="license" href="https://creativecommons.org/licenses/by/4.0/">Attribution 4.0 International License</a>. [AnCora corpus](http://clic.ub.edu/corpus/) is used under [CC-by](https://creativecommons.org/licenses/by/4.0/) licence. ### Citation Information ``` @inproceedings{armengol-estape-etal-2021-multilingual, title = "Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? {A} Comprehensive Assessment for {C}atalan", author = "Armengol-Estap{\'e}, Jordi and Carrino, Casimiro Pio and Rodriguez-Penagos, Carlos and de Gibert Bonet, Ona and Armentano-Oller, Carme and Gonzalez-Agirre, Aitor and Melero, Maite and Villegas, Marta", booktitle = "Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021", month = aug, year = "2021", address = "Online", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2021.findings-acl.437", doi = "10.18653/v1/2021.findings-acl.437", pages = "4933--4946", } ``` [](https://doi.org/10.5281/zenodo.4761746) ### Contributions [N/A]### 数据集元数据 - 标注生成方式：专家生成 - 语料来源：采集自现有文本 - 语言：加泰罗尼亚语（ca） - 许可协议：CC BY 4.0 - 多语言属性：单语言 - 数据集名称：ancora-ca-ner - 样本规模类别：未知 - 源数据集：无 - 任务类别：无 - 任务子类型：无 # AnCora-Ca-NER 数据集卡片 ## 数据集描述 - **官网**：https://zenodo.org/records/4761746 - **主页** [Projecte AINA（阿伊纳项目）](https://projecteaina.cat/tech/) - **代码仓库** [HuggingFace](https://huggingface.co/projecte-aina) - **论文**：[Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan](https://arxiv.org/abs/2107.07903) - **论文**：[AnCora: Multilevel Annotated Corpora for Catalan and Spanish](http://www.lrec-conf.org/proceedings/lrec2008/pdf/35_paper.pdf) - **联系人**：[e-mail] ### 数据集概览 本数据集用于加泰罗尼亚语的命名实体识别（Named Entity Recognition, NER）任务，适配自AnCora语料库，用于机器学习与大语言模型（Large Language Model, LLM）评估。 本数据集由巴塞罗那超级计算中心文本挖掘单元（BSC TeMU）开发，作为阿伊纳项目（Projecte AINA）的一部分，旨在丰富加泰罗尼亚语言理解基准（Catalan Language Understanding Benchmark, CLUB）。 ### 支持任务与基准排行榜 命名实体识别、语言模型 ### 语言说明 本数据集采用加泰罗尼亚语（ca-ES）。 ## 数据集结构 ### 数据实例 本数据集包含三个双列文件，分别对应三个数据划分。 <pre> Fundació B-ORG Privada I-ORG Fira I-ORG de I-ORG Manresa I-ORG ha O fet O un O balanç O de O l' O activitat O del O Palau B-LOC Firal I-LOC </pre> ### 数据字段 每个文件包含两列：第一列为词形或标点符号，第二列为对应的IOB标记（IOB tag）。 ### 数据划分 我们从该语料库的通用依存（Universal Dependencies, UD）版本中获取了原始的训练、开发与测试划分： - 训练集：10,630 条样本 - 验证集：1,429 条样本 - 测试集：1,528 条样本 ## 数据集构建 ### 构建初衷 我们创建本语料库，旨在推动低资源语言加泰罗尼亚语的大语言模型发展。 ### 源数据 #### 初始数据收集与标准化 AnCora语料库包含加泰罗尼亚语语料库（AnCora-CA）与西班牙语语料库（AnCora-ES），两者均包含50万个Token（部分为多词单元），并针对多维度语言现象进行了标注。该语料库主要基于新闻文本，详细信息可参考Taulé, M., M.A. Martí, M. Recasens (2009) 发表的论文《AnCora: Multilevel Annotated Corpora for Catalan and Spanish》，收录于第6届国际语言资源与评估会议论文集。 #### 源语言生产者是谁？ 本数据集所使用的加泰罗尼亚语AnCora语料库源自以下新闻媒体的文章：EFE、ACN、《El Periodico》。 ### 标注信息 #### 标注流程 我们将AnCora语料库的NER标签适配为“逐词分行、多列格式”。 #### 标注人员是谁？ 标注人员为AnCora语料库的原始标注团队。 ### 个人与敏感信息 本数据集未包含任何个人或敏感信息。 ## 数据使用注意事项 ### 数据集的社会影响 我们期望本语料库能够推动低资源语言加泰罗尼亚语的大语言模型发展。 ### 偏差讨论 无相关内容（N/A） ### 其他已知局限性 无相关内容（N/A） ## 补充信息 ### 数据集维护方 巴塞罗那超级计算中心文本挖掘单元（Text Mining Unit, TeMU），联系邮箱：[e-mail] 本工作由加泰罗尼亚政府副主席兼数字政策与领土部依托阿伊纳项目（Projecte AINA）资助。 ### 许可协议信息 本数据集采用知识共享署名4.0国际许可协议（CC BY 4.0）进行授权。AnCora语料库采用CC BY许可协议授权。 ### 引用信息 @inproceedings{armengol-estape-etal-2021-multilingual, title = "Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? {A} Comprehensive Assessment for {C}atalan", author = "Armengol-Estapé, Jordi and Carrino, Casimiro Pio and Rodriguez-Penagos, Carlos and de Gibert Bonet, Ona and Armentano-Oller, Carme and Gonzalez-Agirre, Aitor and Melero, Maite and Villegas, Marta", booktitle = "Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021", month = aug, year = "2021", address = "Online", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2021.findings-acl.437", doi = "10.18653/v1/2021.findings-acl.437", pages = "4933--4946", } [](https://doi.org/10.5281/zenodo.4761746) ### 贡献说明 无相关内容（N/A）

原始信息汇总

数据集概述

数据集名称

• 名称: ancora-ca-ner
• 别名: AnCora-Ca-NER

数据集描述

• 目的: 用于加泰罗尼亚语的命名实体识别（NER）。
• 开发机构: BSC TeMU（Barcelona Supercomputing Center TeMU）。
• 项目背景: 作为Projecte AINA的一部分，旨在丰富加泰罗尼亚语言理解基准（CLUB）。

语言信息

• 语言: 加泰罗尼亚语（ca-ES）。

数据集结构

• 数据实例: 包含三个两列文件，分别对应训练、验证和测试集。
• 数据字段: 每列包含词形或标点符号及其对应的IOB标签。
• 数据分割:
  • 训练集: 10,630例
  • 验证集: 1,429例
  • 测试集: 1,528例

数据集创建

• 来源数据: 基于AnCora语料库，主要由新闻文本组成。
• 注释过程: 从AnCora语料库适应NER标签至多列格式。
• 注释者: 原始AnCora语料库的注释者。

使用注意事项

• 社会影响: 旨在促进加泰罗尼亚语这一低资源语言的语言模型发展。

许可证信息

• 许可证: CC-BY-4.0

引用信息

@inproceedings{armengol-estape-etal-2021-multilingual, title = "Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? {A} Comprehensive Assessment for {C}atalan", author = "Armengol-Estap{e}, Jordi and Carrino, Casimiro Pio and Rodriguez-Penagos, Carlos and de Gibert Bonet, Ona and Armentano-Oller, Carme and Gonzalez-Agirre, Aitor and Melero, Maite and Villegas, Marta", booktitle = "Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021", month = aug, year = "2021", address = "Online", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2021.findings-acl.437", doi = "10.18653/v1/2021.findings-acl.437", pages = "4933--4946", }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，命名实体识别（NER）是信息抽取的关键任务，尤其对于加泰罗尼亚语这类中等资源语言而言，高质量标注语料库的构建尤为重要。AnCora-Ca-NER数据集正是基于广受认可的AnCora语料库改造而来，原始语料库包含约50万词，主要来源于EFE、ACN和El Periodico等新闻媒体的文本。研究者将AnCora中已有的NER标签适配为每行一词的多列格式，并沿用原始语料库的专家标注结果，确保了标注的准确性与权威性。最终，该数据集被划分为训练集（10,630条）、验证集（1,429条）和测试集（1,528条），以满足机器学习与语言模型评估的需求。

使用方法

该数据集的使用方式简洁直观，适用于基于序列标注的NER模型训练与评测。用户可直接加载以空格分隔的两列文本文件，第一列为词汇或符号，第二列为对应的IOB标签。数据集已预分为训练、验证和测试三部分，无需额外处理即可接入HuggingFace的Datasets库或自定义的PyTorch/TensorFlow流程。推荐将其与预训练语言模型（如mBERT或加泰罗尼亚语专用模型）结合，进行微调以完成命名实体识别任务。研究者亦可将此数据集纳入加泰罗尼亚语理解基准（CLUB）中，以系统评估模型在低资源场景下的泛化能力。

背景与挑战

背景概述

命名实体识别（NER）作为自然语言处理领域的基石任务，其性能高度依赖于高质量标注语料库的可用性。针对加泰罗尼亚语这一资源相对匮乏的语言，巴塞罗那超级计算中心（BSC）的文本挖掘单元（TeMU）于2021年发布了AnCora-Ca-NER数据集，作为AINA项目的核心成果之一。该数据集基于AnCora语料库构建，包含超过13,000个标注实例，专门用于加泰罗尼亚语的命名实体识别研究。其创建旨在弥补低资源语言在NER领域的数据缺失，推动加泰罗尼亚语语言模型的发展，并为跨语言模型评估提供了基准。该数据集的发布显著促进了加泰罗尼亚语自然语言处理研究，成为CLUB基准的重要组成部分，对低资源语言NER任务具有里程碑式的影响。

当前挑战

AnCora-Ca-NER数据集面临的核心挑战在于低资源语言环境下命名实体识别的固有困难。首先，加泰罗尼亚语作为中等资源语言，其标注数据规模有限，训练集中仅包含10,630个样本，难以充分覆盖多样化的实体类型和语境，导致模型泛化能力受限。其次，构建过程中需将原始AnCora语料库的多层次标注转换为标准IOB格式，这一过程涉及复杂的标签对齐和规范化工作，可能引入标注不一致性。此外，数据集主要来源于新闻文本，领域分布单一，限制了其在医疗、法律等专业领域的应用效果，如何平衡数据规模、标注质量与领域多样性成为持续挑战。

常用场景

经典使用场景

AnCora-Ca-NER数据集是加泰兰语命名实体识别（NER）领域的基础性资源，其经典使用场景在于训练和评估针对该低资源语言的序列标注模型。研究人员通常将其与通用依存树库的划分标准相结合，利用其精细的IOB标签体系，对新闻文本中的人名、地名、组织机构等实体类别进行自动识别，从而推动加泰兰语自然语言处理技术的发展。

解决学术问题

该数据集有效缓解了加泰兰语作为中等低资源语言在信息抽取领域的学术困境。通过提供经过专家标注的高质量语料，它解决了缺乏标准化NER基准测试集的问题，使得跨语言模型性能对比成为可能。其衍生出的研究揭示了多语言模型在低资源场景下的优劣，为语言模型适应性与迁移学习策略提供了实证依据，显著提升了加泰兰语语言理解研究的深度与广度。

实际应用

在实际应用中，AnCora-Ca-Ner数据集支撑了加泰兰语智能信息处理系统的构建。它被用于开发新闻内容自动分类、社交媒体舆情监控以及数字图书馆实体索引等工具，助力加泰罗尼亚地区的语言技术产业化。此外，该数据集作为加泰兰语语言理解基准（CLUB）的核心组件，促进了商业智能、搜索引擎优化等领域的本地化应用落地。

数据集最近研究

最新研究方向

在低资源语言自然语言处理领域，加泰罗尼亚语命名实体识别数据集AnCora-Ca-NER正成为推动多语言模型评估与优化的关键资源。当前前沿研究聚焦于中等低资源语言（如加泰罗尼亚语）中，多语言模型与单语言模型性能的对比分析，尤其是针对命名实体识别这一核心任务。该数据集的构建与CLUB基准测试的整合，为系统评估大规模预训练模型在加泰罗尼亚语上的泛化能力提供了标准化平台。相关热点事件包括Projecte AINA项目的持续推进，其旨在通过高质量标注语料库缩小加泰罗尼亚语在AI领域的资源鸿沟，进而促进语言多样性与数字平等。AnCora-Ca-NER的发布显著提升了加泰罗尼亚语NER任务的基准水平，并为跨语言迁移学习研究提供了实证基础，对保护与振兴区域性语言具有深远影响。