varox34/telugu-dataset

--- YAML tags: null annotations_creators: - expert-generated language: - te language_creators: - found license: - cc-by-4.0 multilinguality: - monolingual pretty_name: UD_Spanish-AnCora source_datasets: [] task_categories: - token-classification task_ids: - part-of-speech --- # UD_Spanish-AnCora ## Table of Contents - [Table of Contents](#table-of-contents) - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards) - [Languages](#languages) - [Dataset Structure](#dataset-structure) - [Data Instances](#data-instances) - [Data Fields](#data-fields) - [Data Splits](#data-splits) - [Dataset Creation](#dataset-creation) - [Curation Rationale](#curation-rationale) - [Source Data](#source-data) - [Annotations](#annotations) - [Personal and Sensitive Information](#personal-and-sensitive-information) - [Considerations for Using the Data](#considerations-for-using-the-data) - [Social Impact of Dataset](#social-impact-of-dataset) - [Discussion of Biases](#discussion-of-biases) - [Other Known Limitations](#other-known-limitations) - [Additional Information](#additional-information) - [Dataset Curators](#dataset-curators) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) - [Contributions](#contributions) ## Dataset Description - **Website:** https://github.com/UniversalDependencies/UD_Spanish-AnCora - **Point of Contact:** [Daniel Zeman]([e-mail]) ### Dataset Summary This dataset is composed of the annotations from the [AnCora corpus](http://clic.ub.edu/corpus/), projected on the [Universal Dependencies treebank](https://universaldependencies.org/). We use the POS annotations of this corpus as part of the EvalEs Spanish language benchmark. ### Supported Tasks and Leaderboards POS tagging ### Languages The dataset is in Spanish (`es-ES`) ## Dataset Structure ### Data Instances Three conllu files. Annotations are encoded in plain text files (UTF-8, normalized to NFC, using only the LF character as line break, including an LF character at the end of file) with three types of lines: 1) Word lines containing the annotation of a word/token in 10 fields separated by single tab characters (see below). 2) Blank lines marking sentence boundaries. 3) Comment lines starting with hash (#). ### Data Fields Word lines contain the following fields: 1) ID: Word index, integer starting at 1 for each new sentence; may be a range for multiword tokens; may be a decimal number for empty nodes (decimal numbers can be lower than 1 but must be greater than 0). 2) FORM: Word form or punctuation symbol. 3) LEMMA: Lemma or stem of word form. 4) UPOS: Universal part-of-speech tag. 5) XPOS: Language-specific part-of-speech tag; underscore if not available. 6) FEATS: List of morphological features from the universal feature inventory or from a defined language-specific extension; underscore if not available. 7) HEAD: Head of the current word, which is either a value of ID or zero (0). 8) DEPREL: Universal dependency relation to the HEAD (root iff HEAD = 0) or a defined language-specific subtype of one. 9) DEPS: Enhanced dependency graph in the form of a list of head-deprel pairs. 10) MISC: Any other annotation. From: [https://universaldependencies.org](https://universaldependencies.org/guidelines.html) ### Data Splits - es_ancora-ud-train.conllu - es_ancora-ud-dev.conllu - es_ancora-ud-test.conllu ## Dataset Creation ### Curation Rationale [N/A] ### Source Data [UD_Spanish-AnCora](https://github.com/UniversalDependencies/UD_Spanish-AnCora) #### Initial Data Collection and Normalization The original annotation was done in a constituency framework as a part of the [AnCora project](http://clic.ub.edu/corpus/) at the University of Barcelona. It was converted to dependencies by the [Universal Dependencies team](https://universaldependencies.org/) and used in the CoNLL 2009 shared task. The CoNLL 2009 version was later converted to HamleDT and to Universal Dependencies. For more information on the AnCora project, visit the [AnCora site](http://clic.ub.edu/corpus/). To learn about the Universal Dependences, visit the webpage [https://universaldependencies.org](https://universaldependencies.org) #### Who are the source language producers? For more information on the AnCora corpus and its sources, visit the [AnCora site](http://clic.ub.edu/corpus/). ### Annotations #### Annotation process For more information on the first AnCora annotation, visit the [AnCora site](http://clic.ub.edu/corpus/). #### Who are the annotators? For more information on the AnCora annotation team, visit the [AnCora site](http://clic.ub.edu/corpus/). ### Personal and Sensitive Information No personal or sensitive information included. ## Considerations for Using the Data ### Social Impact of Dataset This dataset contributes to the development of language models in Spanish. ### Discussion of Biases [N/A] ### Other Known Limitations [N/A] ## Additional Information ### Dataset Curators [N/A] ### Licensing Information This work is licensed under a <a rel="license" href="https://creativecommons.org/licenses/by/4.0/">CC Attribution 4.0 International License</a>. ### Citation Information The following paper must be cited when using this corpus: Taulé, M., M.A. Martí, M. Recasens (2008) 'Ancora: Multilevel Annotated Corpora for Catalan and Spanish', Proceedings of 6th International Conference on Language Resources and Evaluation. Marrakesh (Morocco). To cite the Universal Dependencies project: Rueter, J. (Creator), Erina, O. (Contributor), Klementeva, J. (Contributor), Ryabov, I. (Contributor), Tyers, F. M. (Contributor), Zeman, D. (Contributor), Nivre, J. (Creator) (15 Nov 2020). Universal Dependencies version 2.7 Erzya JR. Universal Dependencies Consortium. ### Contributions [N/A]--- YAML标签：无 annotations_creators: - 专家生成 language: - te language_creators: - 公开获取 license: - CC BY 4.0 multilinguality: - 单语言 pretty_name: UD_Spanish-AnCora source_datasets: [] task_categories: - 词元分类 task_ids: - 词性标注 --- # UD_Spanish-AnCora ## 目录 - [目录](#目录) - [数据集概述](#数据集概述) - [数据集摘要](#数据集摘要) - [支持任务与排行榜](#支持任务与排行榜) - [语言情况](#语言情况) - [数据集结构](#数据集结构) - [数据实例](#数据实例) - [数据字段](#数据字段) - [数据划分](#数据划分) - [数据集构建](#数据集构建) - [数据集构建依据](#数据集构建依据) - [源数据](#源数据) - [注释信息](#注释信息) - [个人与敏感信息](#个人与敏感信息) - [数据集使用注意事项](#数据集使用注意事项) - [数据集的社会影响](#数据集的社会影响) - [偏倚讨论](#偏倚讨论) - [其他已知局限性](#其他已知局限性) - [附加信息](#附加信息) - [数据集策展人](#数据集策展人) - [许可信息](#许可信息) - [引用信息](#引用信息) - [贡献](#贡献) ## 数据集概述 - **官方网站：** https://github.com/UniversalDependencies/UD_Spanish-AnCora - **联系人：** [Daniel Zeman]([e-mail]) ### 数据集摘要 本数据集基于[AnCora语料库](http://clic.ub.edu/corpus/)的注释，映射至[通用依存树库(Universal Dependencies treebank)](https://universaldependencies.org/)。我们将该语料库的词性标注注释用作EvalEs西班牙语语言基准测试的组成部分。 ### 支持任务与排行榜 词性标注任务 ### 语言情况 本数据集采用西班牙语（`es-ES`）。 ## 数据集结构 ### 数据实例 包含三个CONLL-U格式文件。 注释以纯文本文件编码（UTF-8，归一化至NFC格式，仅使用LF作为换行符，文件末尾包含LF换行符），文件内包含三类行： 1. 词行：包含单个词/词元(Token)的注释，由10个以制表符分隔的字段组成（详见下文）。 2. 空行：标记句子边界。 3. 注释行：以井号（#）开头的行。 ### 数据字段 词行包含以下字段： 1. **ID：** 词索引，每个新句子从1开始的整数；多词词元可使用范围值；空节点可使用十进制数值（十进制数值可小于1，但必须大于0）。 2. **FORM：** 词形或标点符号。 3. **LEMMA：** 词形的词元或词干。 4. **UPOS：** 通用词性标签。 5. **XPOS：** 语言专属词性标签；无标签时使用下划线（_）。 6. **FEATS：** 通用特征集或语言专属扩展特征集中的形态特征列表；无特征时使用下划线（_）。 7. **HEAD：** 当前词的依存中心词，取值为ID值或0（0表示根节点）。 8. **DEPREL：** 与HEAD的通用依存关系（当HEAD=0时为根节点）或其语言专属子类型。 9. **DEPS：** 以中心词-依存关系对列表形式呈现的增强依存图。 10. **MISC：** 其他注释信息。 来源：[https://universaldependencies.org](https://universaldependencies.org/guidelines.html) ### 数据划分 - es_ancora-ud-train.conllu - es_ancora-ud-dev.conllu - es_ancora-ud-test.conllu ## 数据集构建 ### 数据集构建依据 [N/A] ### 源数据 [UD_Spanish-AnCora](https://github.com/UniversalDependencies/UD_Spanish-AnCora) #### 初始数据收集与归一化 原始注释采用句法成分框架完成，作为巴塞罗那大学[AnCora项目](http://clic.ub.edu/corpus/)的组成部分。该注释集由[通用依存团队(Universal Dependencies team)](https://universaldependencies.org/)转换为依存句法格式，并应用于CoNLL 2009共享任务。后续CoNLL 2009版本又被相继转换为HamleDT格式与通用依存格式。 如需了解AnCora项目的更多信息，请访问[AnCora官网](http://clic.ub.edu/corpus/)。 如需了解通用依存项目，请访问官网[https://universaldependencies.org](https://universaldependencies.org)。 #### 源语言文本创作者 如需了解AnCora语料库及其源文本的更多信息，请访问[AnCora官网](http://clic.ub.edu/corpus/)。 ### 注释信息 #### 注释流程 如需了解AnCora首次注释的更多信息，请访问[AnCora官网](http://clic.ub.edu/corpus/)。 #### 注释人员 如需了解AnCora注释团队的更多信息，请访问[AnCora官网](http://clic.ub.edu/corpus/)。 ### 个人与敏感信息 本数据集未包含任何个人或敏感信息。 ## 数据集使用注意事项 ### 数据集的社会影响 本数据集有助于西班牙语大语言模型的研发。 ### 偏倚讨论 [N/A] ### 其他已知局限性 [N/A] ## 附加信息 ### 数据集策展人 [N/A] ### 许可信息 本作品采用<a rel="license" href="https://creativecommons.org/licenses/by/4.0/">CC BY 4.0 国际许可协议</a>进行许可。 ### 引用信息 使用该语料库时需引用以下论文： Taulé, M., M.A. Martí, M. Recasens (2008) 《Ancora：加泰罗尼亚语与西班牙语的多层注释语料库》，第六届国际语言资源与评估会议论文集，马拉喀什（摩洛哥）。 引用通用依存项目时需使用： Rueter, J.（创作者）, Erina, O.（贡献者）, Klementeva, J.（贡献者）, Ryabov, I.（贡献者）, Tyers, F. M.（贡献者）, Zeman, D.（贡献者）, Nivre, J.（创作者）(2020年11月15日). 通用依存2.7版Erzya JR. 通用依存联盟。 ### 贡献 [N/A]

原始信息汇总

UD_Spanish-AnCora 数据集概述

数据集描述

数据集摘要

该数据集包含从 AnCora 语料库 投影到 Universal Dependencies 树库 的注释。我们使用该语料库的词性标注作为 EvalEs 西班牙语基准测试的一部分。

支持的任务和排行榜

• 词性标注

语言

数据集为西班牙语 (es-ES)

数据集结构

数据实例

包含三个 conllu 文件。

注释以纯文本文件（UTF-8，归一化为 NFC，仅使用 LF 字符作为换行符，包括文件末尾的 LF 字符）编码，包含三种类型的行：

1. 包含 10 个字段分隔的单词/标记注释的单词行。
2. 标记句子边界的空白行。
3. 以哈希（#）开头的注释行。

数据字段

单词行包含以下字段：

1. ID：单词索引，每个新句子从 1 开始；可能是多词标记的范围；可能是空节点的十进制数（十进制数可以小于 1 但必须大于 0）。
2. FORM：单词形式或标点符号。
3. LEMMA：词形式或词干。
4. UPOS：通用词性标记。
5. XPOS：特定语言的词性标记；如果不可用则为下划线。
6. FEATS：来自通用特征库存或定义的语言特定扩展的形态特征列表；如果不可用则为下划线。
7. HEAD：当前单词的头，可以是 ID 值或零（0）。
8. DEPREL：与 HEAD 的通用依赖关系（如果 HEAD = 0 则为根）或定义的语言特定子类型之一。
9. DEPS：增强依赖图，以头-依赖关系对列表的形式。
10. MISC：任何其他注释。

数据分割

• es_ancora-ud-train.conllu
• es_ancora-ud-dev.conllu
• es_ancora-ud-test.conllu

数据集创建

源数据

原始注释在成分框架中完成，作为巴塞罗那大学 AnCora 项目 的一部分。它被 Universal Dependencies 团队 转换为依赖关系，并在 CoNLL 2009 共享任务中使用。CoNLL 2009 版本后来被转换为 HamleDT 和 Universal Dependencies。

注释

注释过程

更多关于 AnCora 注释的信息，请访问 AnCora 网站。

注释者

更多关于 AnCora 注释团队的信息，请访问 AnCora 网站。

个人和敏感信息

不包含个人或敏感信息。

使用数据的注意事项

数据集的社会影响

该数据集有助于西班牙语语言模型的发展。

附加信息

许可信息

该作品根据 <a rel="license" href="https://creativecommons.org/licenses/by/4.0/">CC Attribution 4.0 International License</a> 许可。

引用信息

使用该语料库时，必须引用以下论文：

Taulé, M., M.A. Martí, M. Recasens (2008) Ancora: Multilevel Annotated Corpora for Catalan and Spanish, Proceedings of 6th International Conference on Language Resources and Evaluation. Marrakesh (Morocco).

引用 Universal Dependencies 项目时：

Rueter, J. (Creator), Erina, O. (Contributor), Klementeva, J. (Contributor), Ryabov, I. (Contributor), Tyers, F. M. (Contributor), Zeman, D. (Contributor), Nivre, J. (Creator) (15 Nov 2020). Universal Dependencies version 2.7 Erzya JR. Universal Dependencies Consortium.

搜集汇总

数据集介绍

构建方式

该数据集源自AnCora语料库，由巴塞罗那大学在成分句法框架下完成原始标注，随后由Universal Dependencies团队将其转换为依存句法格式，并应用于CoNLL 2009共享任务。最终，数据经过HamleDT和Universal Dependencies的进一步转化，形成了当前版本。数据集以CoNLL-U格式存储，包含词索引、词形、词元、通用词性标注、语言特定词性标注、形态特征、依存关系头节点、依存关系标签、增强依存图以及杂项等十个字段，覆盖训练、开发和测试三个子集。

特点

数据集具有高度专业性和系统性，其标注由语言学专家手工完成，确保了词性标注和依存句法关系的准确性。作为西班牙语自然语言处理的重要基准资源，它支撑着词性标注等核心任务。数据采用单语（西班牙语）设计，来源可靠，且遵循CC-BY 4.0许可协议，便于学术研究使用。此外，数据集不包含个人敏感信息，具备良好的伦理合规性。

使用方法

用户可通过HuggingFace平台直接加载该数据集，利用其预定义的训练、开发和测试划分进行模型训练与评估。数据以CoNLL-U格式呈现，适合使用依赖解析和序列标注框架进行处理。建议结合Universal Dependencies官方指南解析字段含义，并参考AnCora相关文献理解标注背景。数据集可直接用于西班牙语词性标注任务的基准测试，也可作为多语言依存分析研究的对照资源。

背景与挑战

背景概述

在自然语言处理领域，词性标注作为一项基础性任务，对于句法分析和语义理解具有举足轻重的作用。西班牙语作为全球使用人数众多的语言之一，其语料资源的建设尤为关键。UD_Spanish-AnCora数据集诞生于巴塞罗那大学AnCora项目的深厚积累，由Daniel Zeman等研究人员主导，通过将AnCora语料库的细粒度标注映射至通用依存关系框架，构建了高质量的西班牙语词性标注数据集。该数据集自发布以来，广泛应用于西班牙语基准评测，显著推动了该语言在依存句法分析与词性标注任务上的研究进展，成为评估西班牙语模型性能的重要基石。

当前挑战

该数据集所面临的挑战主要体现在两个方面。其一，在领域问题层面，西班牙语词性标注任务需应对形态丰富的语言特性，如动词变位、名词性数变化等复杂形态学特征，这要求模型具备精细的语法理解能力。其二，在构建过程中，原始AnCora语料库基于短语结构语法进行标注，需转换为依存关系表示，这一转化过程涉及对齐不一致、标签映射歧义等技术难题。此外，数据来源的多样性与标注粒度的差异，也增加了保持标注一致性的难度，对后续数据维护与扩展提出了更高要求。

常用场景

经典使用场景

在自然语言处理领域，词性标注作为句法分析的基础任务，其精确度直接影响下游任务的性能。varox34/telugu-dataset数据集承载了源自AnCora语料库的高质量标注信息，并遵循通用依存关系框架进行转换，为西班牙语的词性标注研究提供了标准化的训练与评估基准。该数据集被广泛用于训练和评测序列标注模型，如基于条件随机场或深度双向长短期记忆网络的分类器，成为验证西班牙语形态句法分析算法有效性的经典平台。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，如基于其标注体系构建的多语种通用依存树库项目，以及针对西班牙语提出的若干序列标注模型改进方案。其中，Taulé等人（2008）发表的AnCora语料构建论文成为后续西班牙语句法分析研究的基石，而Universal Dependencies团队在此基础上开发的跨语言标注规范，则催生了众多面向罗曼语族的联合训练与迁移学习算法。这些工作共同推动了依存语法理论在计算语言学中的广泛应用。

数据集最近研究

最新研究方向

在自然语言处理领域，词性标注作为基础任务持续受到关注，而基于通用依存关系框架的多语言语料库建设成为推动跨语言模型发展的关键。UD_Spanish-AnCora数据集源自巴塞罗那大学AnCora项目，通过将西班牙语树库投射到Universal Dependencies标准，为西班牙语词性标注与依存句法分析提供了高质量标注资源。近期研究聚焦于利用该数据集评估预训练语言模型在低资源语言上的泛化能力，例如结合Transformer架构进行跨领域迁移学习，以及探索对比学习在细粒度词性分类中的应用。该数据集的开放许可和标准化格式促进了西班牙语NLP基准测试的规范化，在EvalEs等评测体系中扮演核心角色，其影响力延伸至多语言依存分析、形态句法标注一致性研究等前沿方向，为拉丁语系语言的深度语义理解奠定了数据基础。