universalner/uner_llm_inst_croatian

该数据集是原始Universal NER v1中克罗地亚语数据的格式转换，转换为Aya指令格式，并在此以相同的CC-BY-SA 4.0许可证和条件发布。数据集包含不同语言的子集及其开发/测试/训练分割。

原始信息汇总

数据集卡片：Universal NER v1 的 Aya 格式 - 克罗地亚子集

数据集概述

该数据集是原始 Universal NER v1 数据集中克罗地亚数据的格式转换，转换为 Aya 指令格式，并在此处以相同的 CC-BY-SA 4.0 许可证和条件发布。

数据集详情

数据集包含不同子集及其 dev/test/train 分割，具体取决于语言。

引用

如果您使用此数据集版本，请自由引用/脚注完整版本，但请同时引用原始数据集出版物。

BibTeX:

@preprint{mayhew2023universal, title={{Universal NER: A Gold-Standard Multilingual Named Entity Recognition Benchmark}}, author={Stephen Mayhew and Terra Blevins and Shuheng Liu and Marek Šuppa and Hila Gonen and Joseph Marvin Imperial and Börje F. Karlsson and Peiqin Lin and Nikola Ljubešić and LJ Miranda and Barbara Plank and Arij Riabi and Yuval Pinter}, year={2023}, eprint={2311.09122}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，命名实体识别（NER）作为信息抽取的核心任务，其多语言数据集的构建尤为关键。universalner/uner_llm_inst_croatian数据集源于Universal NER v1基准，后者是一个涵盖多种语言的高质量命名实体识别资源。本数据集专门针对克罗地亚语子集进行了格式转换，将原始标注数据重塑为Aya指令格式，以适应大语言模型的微调需求。转换过程保留了原始数据集的实体标签体系与分割方式，包括训练集（6917条）、开发集（959条）和测试集（1135条），确保数据分布的完整性与可比性。所有数据均遵循CC-BY-SA 4.0许可协议发布。

特点

该数据集的核心特点在于其针对克罗地亚语NER任务的专门化与指令化设计。作为Universal NER多语言体系中的一员，它保持了黄金标准的手工标注质量，涵盖多种实体类型。通过格式转换，数据以Aya指令形式呈现，每条样本包含明确的自然语言指令与对应的序列标注信息，这使其能够直接用于大语言模型的指令微调与评估。此外，数据集提供了标准的三元分割（训练/开发/测试），便于研究者复现实验并与其他语言子集进行跨语言比较，为克罗地亚语NER研究提供了可靠且易用的基准资源。

使用方法

使用本数据集时，研究者可直接通过HuggingFace的datasets库加载克罗地亚语子集，将其作为序列标注任务的训练或评估数据。由于数据已转换为Aya指令格式，用户无需额外进行格式适配，即可将其用于大语言模型的指令微调管线。建议在加载后根据模型需求进行必要的分词与标签对齐处理。同时，应引用原始Universal NER论文以尊重学术贡献，并参考完整的Aya指令格式数据集文档以获取更多跨语言子集的信息，从而支持多语言NER模型的联合训练与对比分析。

背景与挑战

背景概述

命名实体识别（NER）作为自然语言处理领域的基石任务，其跨语言泛化能力长期受限于高质量标注资源的稀缺性。2023年，由Stephen Mayhew、Terra Blevins等多位学者组成的国际团队发布了Universal NER v1基准数据集，旨在构建一个覆盖多语种的金标准NER评估体系。克罗地亚语子集作为该体系的重要组成部分，由universalner/uner_llm_inst_croatian提供，其数据源自原始Universal NER v1，并经过格式转换适配Aya指令范式，以促进低资源语言在大型语言模型上的实体识别研究。该数据集的创建不仅填补了南斯拉夫语支NER资源的空白，更为多语言NER模型的公平性评估提供了关键参照，推动了自然语言处理技术向更广泛语言生态的延伸。

当前挑战

该数据集面临的核心挑战在于克罗地亚语作为低资源语言的固有困境：其一，训练样本仅6917条，测试集1135条，有限的数据规模难以支撑深度神经网络的鲁棒学习，尤其面对克罗地亚语复杂的屈折形态和变位系统，模型易出现实体边界误判与类型混淆；其二，构建过程需将原始Universal NER格式转换为Aya指令格式，转换中可能引入标注一致性偏差，例如实体标签映射的歧义或上下文信息丢失；其三，克罗地亚语在专有名词（如人名、地名）上存在大量外来词与本土化变体，缺乏统一的标注规范，加剧了跨领域迁移时的泛化难度。

常用场景

经典使用场景

在自然语言处理领域，命名实体识别是信息抽取的核心任务之一，而克罗地亚语作为低资源语言，其NER研究长期受限于高质量标注数据的匮乏。universalner/uner_llm_inst_croatian数据集通过将Universal NER v1中的克罗地亚语子集转换为Aya指令格式，为多语言NER模型提供了标准化的训练与评估基准。该数据集最经典的使用场景是训练和评测基于指令微调的大型语言模型在克罗地亚语上的实体识别能力，研究者可借助其统一的格式，对比不同模型在跨语言场景下对人物、地点、组织等实体类别的抽取性能。

衍生相关工作

该数据集衍生了多项经典工作，其中最核心的是Universal NER v1基准的提出，该工作构建了包含多种语言的高质量NER标注集合，为多语言实体识别设立了评估标准。在此基础上，研究者进一步探索了跨语言NER的迁移学习方法，如利用该数据集验证零样本与少样本场景下多语言预训练模型的表现。此外，Aya指令格式的转换工作本身也催生了对大语言模型指令遵循能力的研究，相关论文分析了不同指令模板对NER性能的影响，推动了提示工程在信息抽取领域的系统化发展。

数据集最近研究

最新研究方向

在自然语言处理领域，命名实体识别（NER）作为信息抽取的核心任务，其多语言与跨语言泛化能力正受到学界广泛关注。universalner/uner_llm_inst_croatian数据集作为Universal NER v1的克罗地亚语子集，经Aya指令格式转换后，为大型语言模型（LLM）在低资源语言上的细粒度实体识别提供了高质量的基准。当前前沿研究聚焦于利用此类指令微调数据，探索LLM在零样本或少样本场景下对克罗地亚语等小语种NER任务的迁移学习能力，并与多语言模型（如XLM-R、mT5）的预训练范式形成互补。该数据集的出现，不仅推动了NER研究从英语主导走向语言多样性，也为巴尔干地区数字人文与信息系统的本地化部署提供了关键支撑，其影响延伸至机器翻译、知识图谱构建等关联热点。