awesome-kyrgyz-nlp

这是一个关于吉尔吉斯语自然语言处理的数据集合集，收录了多个与吉尔吉斯语相关的数据集资源，包括语料库（如Manas-UdS、kyWaC、Leipzig Corpora Collection、TilCorpusu）、原始文本数据（如kloop语料库）、手写字母识别数据（Kyrgyz MNIST）、LLM评估数据（如KyrgyzLLM-Bench）、形态学与句法数据（如UD树库）、命名实体识别数据（如WikiANN和KyrgyzNER）以及文本分类数据（如Kyrgyz Multi-Label News Classification）。该合集旨在为研究人员和开发者提供开放的、可下载的数据集资源，以支持吉尔吉斯语NLP的研究和应用。This is a dataset collection for Kyrgyz language natural language processing, which aggregates multiple dataset resources related to Kyrgyz language, including corpora (such as Manas-UdS, kyWaC, Leipzig Corpora Collection, TilCorpusu), raw text data (such as the kloop corpus), handwritten character recognition data (Kyrgyz MNIST), LLM evaluation data (such as KyrgyzLLM-Bench), morphological and syntactic data (such as UD Treebanks), named entity recognition data (such as WikiANN and KyrgyzNER), as well as text classification data (such as Kyrgyz Multi-Label News Classification). This collection aims to provide open and downloadable dataset resources for researchers and developers to support the research and application of Kyrgyz NLP.

原始信息汇总

数据集与资源概览：Awesome Kyrgyz NLP

该页面汇集了吉尔吉斯语自然语言处理（NLP）相关的开源工具、可下载数据集及研究论文资源。

数据集

语料库

• Manas-UdS：包含 120 万词、84 篇文学作品，涵盖小说、中篇小说、史诗、短篇史诗和童话五种体裁；提供词形、词性标注及丰富的逐篇元数据。
• kyWaC：2012 年 1 月构建的网络吉尔吉斯语语料库，共 1900 万词（非开源）。
• Kyrgyz in Leipzig Corpora Collection：包含社区数据/新闻爬取（100 万句）和维基百科（30 万句）。
• TilCorpusu：1 亿词，来源包括新闻和小说；2023 年 7 月公开（受法律限制仅开放新闻部分）。

原始文本

• kloop corpus：包含 16,826 篇文章（sqlite3 数据库文件）及爬虫代码。

字符识别

• Kyrgyz language hand-written letters (Kyrgyz MNIST)：包含 80,213 张手写吉尔吉斯语字母图片，已转换为 50x50 像素和 CSV 格式。

大语言模型评估数据

• KyrgyzLLM-Bench：包含 KyrgyzMMLU（392 个任务）和 KyrgyzRC（80 个任务）原始数据集；GSM8K、HellaSwag、BoolQ、WinoGrande 和 TruthfulQA 为英文数据集的翻译和人工校正版本。

形态与句法

• UD Treebank (KTMU)：781 句，后经扩充和修正。
• UD Treebank (TueCL)：145 句（含 20 句开罗语料），另含突厥语组建议的约 100 句；英文、阿塞拜疆语和土耳其语译文可用。
• Verbal paradigms for Kyrgyz：100 个吉尔吉斯语动词的完整变位表。

命名实体识别

• WikiANN：包含吉尔吉斯语部分。
• KyrgyzNER：来自 24.KG 新闻门户的 1,499 篇新闻文章，共 10,900 句，39,075 个实体提及，27 个实体类别。

文本分类

• Kyrgyz Multi-Label News Classification：包含 1000/500 篇新闻文档的训练/评估代码及数据集。

词相似度与词义消歧

• Kyrgyz Word Embedding Evaluation：尚未发布，但两个最佳模型已发布在 Zenodo。
• kyrgyz-nlp/disambiguator：研究流行嵌入模型基于锚词选择词义的能力。

指令数据

• Machine-Translated Alpaca：使用 ChatGPT 和 Google Translate 将 Stanford Alpaca 数据集翻译为吉尔吉斯语。

机器可读词典

• Country names table：吉尔吉斯语-俄语-英语国家名称对照表（TSV 格式）。
• KyrSpell：吉尔吉斯语正字词典（使用前需审查许可协议）。
• Tatu Ylonens enwiktionary-based dictionary：基于维基词典的吉尔吉斯语词典，另有派生学习用 Anki 牌组。

机器翻译

• Kyrgyz Language Seed Dataset OLDI：6,193 句吉尔吉斯语-英语平行句。
• TurkLang-7：426,190 句吉尔吉斯语-俄语平行句（未公开）。
• X-WMT：500 句吉尔吉斯语-英语翻译句对。
• NLLBv1：21,360,637 句吉尔吉斯语-英语句对（需注意非吉尔吉斯语句子被检测到）。
• GoURMET project data：14,498 句吉尔吉斯语-英语、23,017 句吉尔吉斯语-俄语句。
• FLORES+：专业翻译，训练集 1012 句，测试集 997 句。

语音数据

• Mozilla Common Voice — Kyrgyz：众包朗读语音及转写文本，CC-0 许可；可在 Hugging Face 上获取。
• CSLT ASR data：128 小时语音，163 位说话人（100 男/63 女），提供语音转写及词级词典；需通过邮件申请许可。

预训练模型

• Polyglot morfessor：针对吉尔吉斯语的预训练 Morfessor 模型。
• fastText：300 维 fastText 词向量（来自 fastText 官方）。
• compressed fastText：由 Bernhard Liebl 制作的压缩版 fastText 模型。
• fastText trained on Leipzig Corpora：基于莱比锡语料库训练的最佳性能 100/300 维 fastText 向量。
• fastText from Kuriyozov et al.2020：基于 SketchEngine 的 KyWaC 训练。
• BERT-based NER：在 bert-base-multilingual-cased 上对 Wikiann 微调用于命名实体识别（作者声明不可用，仅为概念验证）。
• Manas-GPT：在《玛纳斯》史诗上训练的 nanoGPT 项目。
• kyrgyz-tokenizers-collection：预训练的吉尔吉斯语子词分词器集合。
• KyrgyzBert：在吉尔吉斯语文本上从头训练的 BERT 模型（6 编码器、8 头、隐藏层 512 维）。

语音模型

• AkylAI TTS Mini：基于 Matcha-TTS 的吉尔吉斯语文本转语音模型，在约 13 小时语音/7,000 样本上训练。
• TurkicTTS：覆盖包括吉尔吉斯语在内的十种突厥语言的多语言语音合成模型。

方法与软件

• spaCy：基础支持，包括分词、停用词、like_num。
• stanza-ky：名为 ktmu 的流水线（需谨慎使用，存在括号处理可疑问题）。

形态学

• Kyrgyz for Apertium：形态分析和生成、词性标注；提供安装脚本。
• kymopl (已弃用)：基于 Prolog 的吉尔吉斯语形态学工具。

仇恨言论检测

• Jupyter Notebook for hate speech detection：仇恨言论检测示例代码。

拼写与正字法

• ӨҮҢизатор：概念验证字母替换 Telegram 机器人，修正 О, У, Н 至 Ө, Ү, Ң。

其他

• Tilchi：开源桌面版电子俄语-吉尔吉斯语词典。
• Number-to-words conversion：数字转文字工具（JavaScript 和 TypeScript 版本）。
• Telegram bot for Kyrgyz morphological analysis：基于 Apertium 数据的吉尔吉斯语形态分析 Telegram 机器人。

在线演示

• Cyrillic-to-Latin online converter：西里尔转拉丁字母在线转换器。

其他资源

• Kyrgyz NLP bibliography：吉尔吉斯语自然语言处理文献目录。
• Turkic Interlingua 和 SIGTURK：突厥语言相关社区与兴趣组。
• Apertiums list of tools：Apertium 上列出的相关工具与资源。
• el-sozduk.kg：在线词典及其他实用资源。
• Turkic languages-related resources：伊斯坦布尔理工大学团队整理的突厥语言相关资源。

搜集汇总

数据集介绍

构建方式

awesome-kyrgyz-nlp是一个精心整理的吉尔吉斯语自然语言处理资源列表，其构建方式源于对开源工具、可下载数据集及附带代码的研究论文的系统性收集与分类。项目以GitHub仓库为载体，通过社区贡献与维护者审核机制，将分散的吉尔吉斯语NLP资源整合为结构化目录，涵盖语料库、预训练模型、形态分析软件、语音数据等多个维度，并依据资源活跃度标记已弃用项目，确保列表的时效性与实用性。

特点

该数据集的核心特点在于其全面性与专业性，聚焦于吉尔吉斯语这一低资源语言的NLP生态。集合中不仅包含传统语料库如Manas-UdS和kyWaC，还收录了手写字母识别数据集Kyrgyz MNIST、LLM评估基准KyrgyzLLM-Bench等前沿资源。此外，列表特别强调开源与可下载性，并提供了从形态学分析到仇恨言论检测的多样化工具，以及语音合成与识别模型，为研究者提供了从基础到高级的一站式参考。

使用方法

使用者可通过GitHub仓库的目录导航快速定位所需资源，每个条目均附有链接或引用指向原始出处。例如，语料库部分直接提供下载地址或Hugging Face数据集页面，预训练模型则导向模型卡或Zenodo存档。对于工具类资源，如Apertium的吉尔吉斯语模块，列表附有安装脚本或Python库导入示例。开发者可依据资源标签（如形态学、语音）筛选，并参考社区维护的弃用标记避免使用过时项目，从而高效应用于吉尔吉斯语NLP研究与开发。

背景与挑战

背景概述

柯尔克孜语（吉尔吉斯语）作为突厥语系的重要成员，承载着中亚地区深厚的文化底蕴与历史脉络。然而，相较于英语、汉语等主流语言，柯尔克孜语在自然语言处理（NLP）领域的研究起步较晚，资源匮乏成为制约其智能化发展的瓶颈。在此背景下，由国际研究团队与本土学者共同发起的“Awesome Kyrgyz NLP”项目应运而生，旨在系统整合开源工具、可下载数据集及附带代码的学术论文，为柯尔克孜语NLP研究提供一站式资源导航。该项目自2019年前后启动，核心贡献者包括来自土耳其、中国及中亚高校的研究人员，如伊斯坦布尔技术大学的Gülşen Eryiğit团队。其核心研究问题聚焦于如何弥合低资源语言与先进NLP技术之间的鸿沟，推动柯尔克孜语在词法分析、命名实体识别、机器翻译等领域的突破。该资源库已收录超过30个数据集与10余个预训练模型，成为柯尔克孜语NLP社区的重要基石，显著提升了该语言在学术与工业界的可见度。

当前挑战

柯尔克孜语NLP面临的首要挑战源于其复杂的形态学特性——作为黏着语，词缀的堆叠导致词汇形态高度丰富，传统基于统计的方法难以准确捕捉词边界与语法关系。构建过程中，语料稀缺问题尤为突出：尽管已有Manas-UdS等文学语料库，但涵盖新闻、社交媒体等多样领域的现代文本仍严重不足，且多数数据集（如KyWaC）因版权限制无法完全开放。此外，标注质量的参差不齐制约了模型性能：例如UD Treebank中Kyrgyz-KTMU仅含781句，而WikiANN的命名实体标注存在噪声。跨语言资源迁移的适配性亦是一大难点，如直接套用土耳其语的处理工具常因词法差异导致错误。语音数据方面，Mozilla Common Voice的柯尔克孜语贡献量远低于主流语言，导致语音识别与合成系统的鲁棒性不足。这些挑战共同构成了柯尔克孜语NLP从数据到模型的全链路瓶颈。

常用场景

经典使用场景

Awesome Kyrgyz NLP 数据集为低资源语言——吉尔吉斯语的自然语言处理研究提供了系统化的资源集合。其经典使用场景涵盖语料库构建、形态分析、命名实体识别与文本分类等基础任务。例如，Manas-UdS 语料库包含 120 万词的文学文本，支持词性标注与词形还原；KyrgyzNER 数据集包含 1,499 篇新闻文章中的 39,075 个实体标注，可用于命名实体识别模型的训练与评估。这些数据集为吉尔吉斯语的词法分析、句法解析和语义理解奠定了数据基础。

衍生相关工作

该数据集衍生出一系列经典工作，包括 KyrgyzBert 预训练语言模型（基于 6 层 Transformer 架构从头训练）、Manas-GPT 生成式模型（基于《玛纳斯》史诗的字符级语言模型）以及 TurkicTTS 多语言语音合成系统。此外，KyrgyzLLM-Bench 基准测试集催生了针对吉尔吉斯语的大语言模型评估框架，而 fastText 词向量（如基于 Leipzig 语料库的 300 维向量）被广泛用于下游任务的嵌入表示。这些工作共同构建了吉尔吉斯语 NLP 的技术生态。

数据集最近研究

最新研究方向

在自然语言处理领域，低资源语言的数字化进程正成为推动语言平等与科技普惠的关键议题。吉尔吉斯语作为突厥语系中资源相对匮乏的语言，其NLP研究近年来因开源社区的蓬勃发展而焕发新生。awesome-kyrgyz-nlp项目系统整合了从语料库构建到预训练模型的全链条资源，其最新研究方向聚焦于大语言模型的本地化适配与评估，例如KyrgyzLLM-Bench基准测试的建立，涵盖了MMLU、GSM8K等经典任务的吉尔吉斯语翻译与校正版本，为衡量模型在该语言上的推理与理解能力提供了标准化工具。与此同时，语音合成与识别领域的突破同样引人注目，AkylAI TTS Mini等模型基于少量数据实现了高质量语音生成，而Mozilla Common Voice项目的持续贡献则大幅扩充了开源语音数据集。这些进展不仅服务于学术探索，更直接关联到中亚地区数字包容性的提升，为吉尔吉斯语在机器翻译、教育科技及文化遗产数字化等实际场景中的应用铺平了道路，其意义在于验证了低资源语言通过社区协作实现技术跨越的可行性。