proxectonos/TreebankNos

TreebankNos是一个加利西亚语数据集，结合了通用依存（UD）树库标注和命名实体识别（NER）标签。它基于两个已建立的UD语料库——UD TreeGal和UD并行通用依存（PUD）构建，并扩展了BIO格式的NER标注，涵盖四种实体类型：人物、地点、组织和杂项。该数据集旨在支持加利西亚语的多任务自然语言处理研究，可从单一统一资源中支持词性标注、形态分析、依存句法分析和NER。TreebankNos is a Galician-language dataset that combines Universal Dependencies (UD) treebank annotations and Named Entity Recognition (NER) labels. It is built upon two established UD corpora: UD TreeGal and UD Parallel Universal Dependencies (PUD), and is extended with BIO-formatted NER annotations covering four entity types: person, location, organization, and miscellaneous. This dataset aims to support multi-task natural language processing research for Galician, enabling part-of-speech tagging, morphological analysis, dependency parsing and NER from a single unified resource.

搜集汇总

数据集介绍

构建方式

TreebankNos数据集基于两个成熟的通用依存树库（Universal Dependencies, UD）语料库构建而成，即UD TreeGal与UD Parallel Universal Dependencies（PUD），并在此基础上扩展了BIO格式的命名实体识别（NER）标注。数据集保留了原语料库的CoNLL-U格式，共包含十个制表符分隔的字段，其中第九列专门用于存储NER标签，覆盖人物、地点、组织及杂项四种实体类型。训练集与测试集分别源自UD TreeGal，而test_pud分割则取自UD PUD语料库，后者包含来自20多种语言的平行句子，便于跨语言迁移研究。多词token（如加利西亚语中的缩合形式）在文件内通过连字符ID行表示并展开为独立分量。

特点

TreebankNos是首个同时标注通用依存关系与命名实体识别的加利西亚语数据集，为低资源语言的NLP研究提供了统一的多任务学习资源。其NER标签采用BIO编码方案，覆盖人物、地点、组织及杂项四类实体，并在训练集与测试集中具有详细的标签分布统计。数据集支持词性标注、形态分析、依存句法解析与NER任务的联合训练。尤为独特的是，test_pud分割包含平行语料，可支持跨语言对比实验。多词token的扩展表示保留了原始表面形式，同时确保每个句法成分独立计数，为细粒度语言分析提供了可靠基础。

使用方法

TreebankNos以扩展CoNLL-U格式存储，每条句子由注释行（# sent_id与# text）标识，句子间以空行分隔。用户可直接加载数据，利用第九列NER标签进行命名实体识别任务，或联合前八列UD标注执行多任务学习。对于依赖解析与NER联合建模，建议保留多词token的扩展结构，注意其第九列默认填充下划线。PUD分割中的parallel_id元数据可用于跨语言对齐实验。数据集已整合至Hugging Face平台，支持通过datasets库直接调用，也可按标准CoNLL-U解析器处理。推荐使用基于Transformer的序列标注模型进行微调，以充分利用其层次化语言标注信息。

背景与挑战

背景概述

TreebankNos是一个面向加利西亚语的统一标注数据集，由Nós项目团队于近期创建，其研究基础植根于通用依存关系（UD）框架下的两个核心语料库——UD TreeGal和UD Parallel Universal Dependencies（PUD）。该数据集的构建旨在应对低资源罗曼语语言在自然语言处理中的多重挑战，通过将词性标注、形态分析、依存句法分析与命名实体识别（NER）整合于单一资源中，为多任务学习与跨语言迁移研究提供了基准平台。其创新之处在于将BIO格式的NER标签扩展至原有的CoNLL-U结构，覆盖人物、地点、组织与杂类四种实体类型，从而推动加利西亚语从传统的句法分析向更全面的语义理解过渡，对少数民族语言的计算语言学发展具有重要的示范意义。

当前挑战

TreebankNos所解决的领域挑战主要体现为低资源语言在自然语言处理中的双重困境：一方面，加利西亚语缺乏大规模、高质量的统一标注语料库，导致命名实体识别与依存句法分析等任务长期受制于数据稀疏问题；另一方面，现有资源多分散于独立任务，难以支持联合学习的范式探索。在构建过程中，挑战尤为突出：首先，原始UD TreeGal和PUD语料库的标注体系需进行一致性对齐，尤其是将多词表达（如缩约形式）的拆分与NER标签的分配融合于扩展CoNLL-U格式；其次，加利西亚语特有的形态丰富性（如性别、数、格与动词屈折变化）增加了特征标注的复杂度；此外，PUD分句的平行特性要求跨语言实体边界对齐，进一步提升了标注的精确性需求。

常用场景

经典使用场景

TreebankNos作为加利西亚语首个融合通用依存树库与命名实体识别标注的综合资源，为低资源语言自然语言处理研究提供了多维度的向量空间。该数据集经典使用场景覆盖词性标注、形态分析、依存句法分析和命名实体识别等基础任务，支持从单一数据源统一构建多任务学习模型。其独特的CoNLL-U扩展格式，将BIO标注体系与依存关系层级有机结合，使得研究人员能够同时探索词汇层面与句法层面的语言特征交互，适用于跨任务迁移学习、序列标注联合训练以及语言模型微调等前沿研究范式。

衍生相关工作

基于TreebankNos已催生了一系列重要的衍生研究工作：包括探索基于Transformer的联合依存解析与实体识别共享编码器架构，验证了加利西亚语在跨语言预训练模型中的特征表示效率；以及利用PUD平行数据进行零样本命名实体识别迁移学习的基准实验，揭示了语系相似语言间的标注知识迁移规律。此外，研究人员进一步扩展了BIO标签的层级细化方案，引入嵌套实体和事件检测任务，形成了基于TreebankNos的第二代标注规范。这些工作不仅验证了数据集作为低资源罗曼语言NLP研究基石的有效性，还推动了通用依存框架下少数语言标准化评估体系的建设进程。

数据集最近研究

最新研究方向

TreebankNos数据集为加利西亚语这一低资源语言的自然语言处理研究开辟了新的前沿。当前，该数据集的核心研究方向聚焦于多任务联合学习框架的构建，即在同一统一资源上同时实现词性标注、形态分析、依存句法分析与命名实体识别。借助其内置的平行通用依存库（PUD）分割，该数据集为跨语言迁移学习提供了独特优势，研究者可将其作为桥梁，深入探究加利西亚语与20余种语言之间的句法-语义映射机制。此外，在生成式AI与多语言大模型迅猛发展的背景下，TreebankNos成为评估大语言模型对罗曼语族中边缘语言处理能力的理想基准，其精细的BIO式实体标注（涵盖人物、地点、组织及杂项）对推动低资源语言的信息抽取系统发展具有里程碑意义。