SEACrowd/ud_jv_csui

UD Javanese-CSUI是一个爪哇语的依存树库，爪哇语是印度尼西亚的一种地方语言，拥有超过6800万使用者。该数据集由印度尼西亚大学计算机科学学院的Alfina等人开发，最新版本包含1000个句子和14K个单词，并进行了手动标注。句子使用拉丁字母而非爪哇语的原生书写系统（Hanacaraka）。数据来源包括爪哇语参考语法书籍、OPUS中的WikiMatrix v1语料库的爪哇语部分以及在线新闻（Solopos）。爪哇语有多个语言层次（如Ngoko、Krama、Krama Inggil和Krama Andhap），在该树库中，句子主要使用Ngoko词汇，部分使用Krama词汇。

UD Javanese-CSUI is a dependency treebank in Javanese, a regional language in Indonesia with more than 68 million users. It was developed by Alfina et al. from the Faculty of Computer Science, Universitas Indonesia. The newest version has 1000 sentences and 14K words with manual annotation. The sentences use the Latin script and do not use the original writing system of Javanese (Hanacaraka). The original sentences were taken from several resources: Javanese reference grammar books, OPUS (especially from the Javanese section of the WikiMatrix v1 corpus), and online news (Solopos). Javanese has several language levels (register), such as Ngoko, Krama, Krama Inggil, and Krama Andhap. In this treebank, the sentences predominantly use Ngoko words, some of which use Krama words.

原始信息汇总

UD Javanese-CSUI 数据集概述

基本信息

• 名称: UD Javanese-CSUI
• 语言: Javanese
• 任务类别:
  • 依存句法分析 (Dependency Parsing)
  • 机器翻译 (Machine Translation)
  • 词性标注 (POS Tagging)
• 标签:
  • 依存句法分析
  • 机器翻译
  • 词性标注

数据集描述

• 开发者: Alfina et al. (Faculty of Computer Science, Universitas Indonesia)
• 最新版本: 包含1000个句子，14K个单词，手动标注。
• 书写系统: 使用拉丁字母，不使用Javanese的原始书写系统（Hanacaraka）。
• 数据来源:
  1. Javanese参考语法书 (125句)
  2. OPUS的WikiMatrix v1语料库 (150句)
  3. 在线新闻 (Solopos) (725句)
• 语言层次: 主要使用Ngoko词汇，部分使用Krama词汇。

支持任务

• 依存句法分析
• 机器翻译
• 词性标注

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

许可证

• Creative Commons Attribution Share Alike 4.0 (cc-by-sa-4.0)

引用

• Ud Jv Csui:

  @unpublished{Alfina2023, author = {Alfina, Ika and Yuliawati, Arlisa and Tanaya, Dipta and Dinakaramani, Arawinda and Zeman, Daniel}, title = {{A Gold Standard Dataset for Javanese Tokenization, POS Tagging, Morphological Feature Tagging, and Dependency Parsing}}, year = {2023} }

• SEACrowd:

  @article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

UD Javanese-CSUI语料库是印度尼西亚大学计算机科学系Alfina等人精心构建的爪哇语依存树库，旨在为这一拥有超过6800万使用者的印尼区域语言提供高质量标注数据。该数据集最新版本包含1000个句子和14000个词汇，所有句子均采用拉丁字母书写，而非爪哇语传统的Hanacaraka文字体系。语料来源多元且具有代表性：125句源自爪哇语参考语法书籍，150句来自OPUS平台特别是WikiMatrix v1语料库的爪哇语部分，725句则选自Solopos在线新闻。这些句子主要使用Ngoko语域词汇，部分混用Krama词汇，反映了爪哇语复杂的语言层次系统。所有标注均通过人工完成，确保了标注的准确性和可靠性。

特点

该数据集的核心特点在于其精准的语言学标注层次，支持依存句法分析、机器翻译和词性标注三大自然语言处理任务。作为首个公开可用的爪哇语依存树库，它填补了低资源语言在句法标注领域的空白。数据集中句子长度适中，词汇量丰富，涵盖了从正式语法文献到日常新闻的多文体内容，为模型训练提供了多样化的语言环境。尤为重要的是，数据集保留了爪哇语独特的语域特征，Ngoko与Krama词汇的混合使用为研究语言变体与社交语境的关系提供了宝贵资源。采用Creative Commons Attribution Share Alike 4.0许可协议，促进了学术共享与后续研究。

使用方法

研究者可通过HuggingFace的datasets库便捷加载该数据集，使用命令'datasets.load_dataset("SEACrowd/ud_jv_csui", trust_remote_code=True)'即可完成初始化。SEACrowd生态系统的用户亦可采用seacrowd库，通过'sc.load_dataset("ud_jv_csui", schema="seacrowd")'加载默认配置，或利用'sc.available_config_names("ud_jv_csui")'查看所有可用子集，再通过'sc.load_dataset_by_config_name(config_name="<config_name>")'选择特定配置。该数据集适用于构建和评估爪哇语的词性标注器、依存句法分析器及机器翻译模型，为低资源语言处理研究提供了标准化基准。使用时需引用Alfina等人2023年的论文以及SEACrowd的相关工作。

背景与挑战

背景概述

爪哇语作为印度尼西亚使用人数超过6800万的区域性语言，其语言学资源长期处于匮乏状态。在此背景下，印度尼西亚大学计算机科学系的Alfina等人于2023年开发了UD Javanese-CSUI依存树库，旨在为这一低资源语言提供高质量的自然语言处理基准。该数据集包含1000条手动标注的句子和约14000个词汇，语料来源涵盖参考语法书籍、OPUS语料库中的WikiMatrix子集以及在线新闻媒体Solopos。值得注意的是，数据集采用了拉丁字母转写，未使用爪哇语传统的Hanacaraka文字系统，反映了现代数字化应用中的实际需求。作为首个面向爪哇语的依存句法树库，该数据集填补了印尼区域性语言在词性标注、依存句法分析和机器翻译等任务上的空白，为东南亚语言计算语言学领域的研究奠定了基础。

当前挑战

该数据集面临的核心挑战在于爪哇语固有的语言复杂性。首先，爪哇语存在Ngoko、Krama、Krama Inggil和Krama Andhap等多层次语域（register），而当前树库中句子以Ngoko词汇为主，仅少量包含Krama词汇，导致模型在处理高语域或混合语域文本时泛化能力不足。其次，数据集规模有限（仅1000句），难以支撑深度神经网络的训练需求，尤其在依存句法分析等对标注量敏感的任务中。此外，构建过程中面临语料来源多样性带来的标注一致性挑战——来自语法书籍、平行语料和新闻的文本在句法结构和词汇风格上存在差异，手动标注需耗费大量人力确保跨源标注的可靠性。最后，拉丁转写虽便于技术处理，却割裂了与原始文字系统的关联，可能影响对爪哇语特有语法现象的完整建模。

常用场景

经典使用场景

UD Javanese-CSUI 数据集作为印度尼西亚爪哇语首个公开的依存句法树库，在自然语言处理领域具有开创性意义。该数据集包含1000句手工标注的句子和约14000个词，涵盖了从参考语法书、WikiMatrix语料库以及在线新闻中精心挑选的语料。其经典使用场景集中在依存句法分析任务上，为研究者提供了一个标准化的标注语料库，使得爪哇语的句法结构研究得以系统化开展。此外，该数据集还广泛用于词性标注和机器翻译等下游任务，尤其在低资源语言场景中，成为评估和训练模型性能的宝贵基准。

衍生相关工作

UD Javanese-CSUI 的发布催生了一系列相关研究工作。Alfina等人基于该数据集提出了爪哇语分词与词性标注的基准方法，并拓展了形态特征标注的标注体系。在SEACrowd数据枢纽的支持下，该数据集被纳入东南亚多语言基准套件，促进了跨语言依存句法分析的联合训练研究。此外，研究者利用该树库探索了低资源语言中预训练语言模型的迁移学习策略，以及基于图神经网络的依存解析器在爪哇语上的适配性，为相似语系语言的计算研究提供了可复现的范式。

数据集最近研究

最新研究方向

在低资源语言自然语言处理的前沿探索中，印尼爪哇语依存树库UD Javanese-CSUI的发布具有里程碑意义。该数据集包含1000句手工标注语料，覆盖Ngoko与Krama等语言层级，为依赖解析、词性标注及机器翻译等任务提供了稀缺的高质量基准。随着东南亚多语言数据枢纽SEACrowd的整合，该资源正推动区域语言技术的标准化评估，尤其助力于爪哇语形态特征标注与句法结构建模的突破性研究。其构建方法融合语法文献、跨语料库对齐及新闻文本，为低资源语言的语料库建设树立了可复现范本，对保护语言多样性、促进数字包容具有深远影响。