universalner/uner_llm_inst_tagalog

---
license: cc-by-sa-4.0
language:
- tl
task_categories:
- token-classification
dataset_info:
- config_name: tl_trg
splits:
- name: test
num_examples: 127
- config_name: tl_ugnayan
splits:
- name: test
num_examples: 93
---

# Dataset Card for Universal NER v1 in the Aya format - Tagalog subset

This dataset is a format conversion for the Tagalog data in the original Universal NER v1 into the Aya instruction format and it's released here under the same CC-BY-SA 4.0 license and conditions.

The dataset contains different subsets and their dev/test/train splits, depending on language. For more details, please refer to:

## Dataset Details

For the original Universal NER dataset v1 and more details, please check https://huggingface.co/datasets/universalner/universal_ner.

For details on the conversion to the Aya instructions format, please see the complete version: https://huggingface.co/datasets/universalner/uner_llm_instructions

## Citation

If you utilize this dataset version, feel free to cite/footnote the complete version at https://huggingface.co/datasets/universalner/uner_llm_instructions, but please also cite the *original dataset publication*.

**BibTeX:**

```
@preprint{mayhew2023universal,
title={{Universal NER: A Gold-Standard Multilingual Named Entity Recognition Benchmark}},
author={Stephen Mayhew and Terra Blevins and Shuheng Liu and Marek Šuppa and Hila Gonen and Joseph Marvin Imperial and Börje F. Karlsson and Peiqin Lin and Nikola Ljubešić and LJ Miranda and Barbara Plank and Arij Riabi and Yuval Pinter},
year={2023},
eprint={2311.09122},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
```

许可证：知识共享署名-相同方式共享4.0（CC-BY-SA 4.0）
语言：他加禄语（tl）
任务类别：令牌分类（Token Classification）
数据集信息：
- 配置名称：tl_trg
划分集：
- 名称：测试集
样本数量：127
- 配置名称：tl_ugnayan
划分集：
- 名称：测试集
样本数量：93

# 适配Aya格式的通用命名实体识别v1（Universal NER v1）数据集卡片——他加禄语子集

本数据集将原始通用命名实体识别v1（Universal NER v1）中的他加禄语数据转换为Aya指令格式，并以完全一致的知识共享署名-相同方式共享4.0（CC-BY-SA 4.0）许可协议及条款发布于此。

本数据集包含多个子集，并根据语言不同划分了开发集、测试集与训练集。如需了解更多细节，请参阅：

## 数据集详情

如需获取原始通用命名实体识别v1数据集的相关信息与更多细节，请访问：https://huggingface.co/datasets/universalner/universal_ner。

如需了解转换为Aya指令格式的具体实现细节，请查看完整版本：https://huggingface.co/datasets/universalner/uner_llm_instructions

## 引用说明

若您使用本数据集版本，可在参考文献或脚注中引用上述完整版本链接https://huggingface.co/datasets/universalner/uner_llm_instructions，但同时也请引用原始数据集的正式发表文献。

**BibTeX格式：**

@preprint{mayhew2023universal,
title={{通用命名实体识别：一套金标准多语言命名实体识别基准数据集}},
author={Stephen Mayhew and Terra Blevins and Shuheng Liu and Marek Šuppa and Hila Gonen and Joseph Marvin Imperial and Börje F. Karlsson and Peiqin Lin and Nikola Ljubešić and LJ Miranda and Barbara Plank and Arij Riabi and Yuval Pinter},
year={2023},
eprint={2311.09122},
archivePrefix={arXiv},
primaryClass={cs.CL}
}

原始信息汇总

数据集卡片 - 通用NER v1的Aya格式 - 塔加洛语子集

数据集详情

许可证

• CC-BY-SA 4.0

语言

• 塔加洛语 (tl)

任务类别

• 标记分类 (token-classification)

数据集配置

• config_name: tl_trg

  • 分割:
    • 名称: test
    • 样本数量: 127

• config_name: tl_ugnayan

  • 分割:
    • 名称: test
    • 样本数量: 93

引用

• 如果使用此数据集版本，请引用原始数据集出版物。

BibTeX:

@preprint{mayhew2023universal, title={{Universal NER: A Gold-Standard Multilingual Named Entity Recognition Benchmark}}, author={Stephen Mayhew and Terra Blevins and Shuheng Liu and Marek Šuppa and Hila Gonen and Joseph Marvin Imperial and Börje F. Karlsson and Peiqin Lin and Nikola Ljubešić and LJ Miranda and Barbara Plank and Arij Riabi and Yuval Pinter}, year={2023}, eprint={2311.09122}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，命名实体识别（NER）是信息抽取的核心任务之一。universalner/uner_llm_inst_tagalog 数据集是基于 Universal NER v1 中他加禄语子集的格式转换成果，旨在将其适配至 Aya 指令格式，以便于大型语言模型的微调与评估。原始数据经过精心筛选与标注，涵盖多种实体类型，随后通过系统化的格式转换流程，将数据重构为指令-响应对的结构，确保每条样本包含明确的指令上下文与标注目标。该数据集保留了原始 CC-BY-SA 4.0 许可协议，并划分为 tl_trg 与 tl_ugnayan 两个配置，分别包含 127 条与 93 条测试样本，为低资源语言的 NER 研究提供了标准化的评测基础。

特点

该数据集的核心特色在于其针对他加禄语这一低资源语言的专门化设计，填补了多语言 NER 基准中东南亚语种的空白。通过将 Universal NER v1 的原始标注转换为 Aya 指令格式，数据集不仅保留了高质量的金标准实体标签，还增强了与当代指令微调范式的兼容性。其结构简洁而高效，每个配置专注于测试集，便于直接用于模型性能的横向对比。此外，数据集遵循 CC-BY-SA 4.0 开源协议，促进了学术社区的共享与复现，同时引用了原始论文以保障学术诚信。这种格式转换不仅提升了数据的可用性，也为跨语言 NER 研究提供了可复制的范式参考。

使用方法

使用该数据集时，研究者可直接通过 Hugging Face 的 datasets 库加载，指定配置名称如 tl_trg 或 tl_ugnayan 以获取对应测试集。每条样本已预先格式化为指令与标注序列，适合直接输入至基于 Transformer 的序列标注模型或大型语言模型中进行推理。建议结合原始 Universal NER 论文中的评估协议，采用精确率、召回率与 F1 分数作为主要指标。由于数据集仅包含测试分割，用户可将其作为独立的评测基准，或与其他他加禄语资源联合使用以扩展训练数据。在引用时，需同时标注本数据集版本及原始论文，以维护学术溯源链条的完整性。

背景与挑战

背景概述

命名实体识别（NER）作为自然语言处理领域的核心任务，在信息抽取、知识图谱构建及问答系统等应用中扮演着关键角色。然而，长期以来，针对低资源语言的高质量NER数据集极度匮乏，严重制约了多语言NLP技术的均衡发展。universalner/uner_llm_inst_tagalog数据集应运而生，它是2023年由Stephen Mayhew、Terra Blevins等国际学者联合构建的Universal NER v1基准的菲律宾语子集，并转化为Aya指令格式，旨在为塔加洛语这一东南亚重要语言提供标准化的命名实体标注资源。该数据集源自覆盖多语种的黄金标准NER语料库，通过统一标签体系与指令化处理，显著提升了低资源语言在预训练语言模型与大型语言模型上的评测可行性，对推动多语言NER研究的普惠性与公平性具有里程碑意义。

当前挑战

该数据集面临的挑战主要体现在两个层面。在领域问题层面，塔加洛语作为低资源语言，其形态丰富、外来词混用现象普遍，导致实体边界界定与类型标注（如人名、地名、组织名）的歧义性极高，传统基于规则或监督学习的方法泛化能力薄弱。在构建过程中，原始Universal NER语料需经过跨语言标签对齐、格式转换及质量校验，而塔加洛语部分仅包含测试集（tl_trg与tl_ugnayan两个配置共220条样本），极小的数据规模使得模型训练易陷入过拟合，难以捕捉真实分布中的长尾实体与上下文依赖，同时指令格式的适配要求模型具备跨任务迁移能力，进一步加剧了低资源场景下的学习难度。

常用场景

经典使用场景

在自然语言处理领域，命名实体识别（NER）是信息抽取的基石任务，而多语言NER的进展长期受限于高质量标注数据的匮乏。universalner/uner_llm_inst_tagalog作为Universal NER v1数据集的他加禄语子集，经由Aya指令格式转换而来，专为评估和微调大语言模型在多语言、低资源场景下的实体识别能力而设计。该数据集涵盖了他加禄语中的多种实体类型，通过将原始标注转化为指令-响应对，使得模型能够在统一的框架下学习从文本中精准定位并分类人名、地名、组织等实体。其经典使用场景包括：作为多语言NER基准测试的一部分，衡量模型在东南亚语言上的迁移学习效果；以及作为指令微调数据，增强LLM对低资源语言的细粒度语义理解能力。

解决学术问题

该数据集直面的核心学术问题是：现有NER基准大多集中于英语等资源丰富语言，导致模型在低资源语言上的泛化性能严重不足。通过提供他加禄语这一典型低资源语言的标准化NER标注，universalner/uner_llm_inst_tagalog填补了东南亚语种在命名实体识别评估中的空白。它解决了跨语言NER研究中“数据荒漠”的困境，使研究者能够量化模型在非印欧语系上的实体识别鲁棒性，并探索基于指令的范式是否能够缓解语言间的标注不一致性。其发布推动了多语言NER从单语言评测向真正意义上的通用理解迈进，为验证大语言模型的语言无关表征能力提供了关键实验场，从而促进了更公平、更包容的自然语言处理技术发展。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作。首先，其所属的Universal NER v1项目本身即是一个覆盖多语种的基准，后续研究如《mEGA: Multilingual Evaluation of Generative AI》借鉴了其数据格式，评估了生成式模型在命名实体识别上的跨语言表现。其次，基于Aya指令格式的转换版本催生了关于指令微调如何影响NER任务的研究，例如探索不同提示模板对低资源语言实体提取性能的调节作用。此外，该数据集常被用于对比实验，验证如XLM-R、mT5等预训练模型在菲律宾语系上的微调效果，并推动了针对东南亚语言的专用NER模型开发，进一步丰富了多语言自然语言处理的生态。