murodbek/uz-text-classification

UzbekTextClassification数据集是一个用于乌兹别克语多标签文本分类的数据集。该数据集包含来自9个乌兹别克新闻网站和新闻门户的文本数据，涵盖了政治、体育、娱乐、技术等多个类别。数据集总共包含512,750篇文章，总字数超过1.2亿，分为15个不同的类别。所有文本均使用拉丁字母书写。数据集分为训练集、验证集和测试集，分别包含410,200、51,275和51,275个样本。数据集的下载大小为593 MB，生成数据集大小为522 MB，总磁盘使用量为1115 MB。

原始信息汇总

数据集概述

数据集名称

• 名称: UzbekTextClassification
• 别名: uzbek_news

数据集特征

• 特征:
  • text: 字符串类型
  • label: 分类标签，包含以下类别：
    • Avto (0)
    • Ayollar (1)
    • Dunyo (2)
    • Foto (3)
    • Iqtisodiyot (4)
    • Jamiyat (5)
    • Jinoyat (6)
    • Madaniyat (7)
    • O‘zbekiston (8)
    • Pazandachilik (9)
    • Qonunchilik (10)
    • Salomatlik (11)
    • Siyosat (12)
    • Sport (13)
    • Texnologiya (14)

数据集结构

• 数据分割:
  • train: 410200个样本，占用892446788字节
  • validation: 51275个样本，占用111174020字节
  • test: 51275个样本，占用111663893字节

数据集大小

• 下载大小: 593 MB
• 数据集大小: 1115284701字节

语言

• 语言: Uzbek

任务类别

• 任务:
  • 文本分类
  • 填空
  • 文本生成

标签

• 标签:
  • uz
  • news

数据集大小类别

• 大小: 100K<n<1M

联系方式

• 联系人: [[e-mail], [e-mail]]

引用信息

@proceedings{kuriyozov_elmurod_2023_7677431, title = {{Text classification dataset and analysis for Uzbek language}}, year = 2023, publisher = {Zenodo}, month = feb, doi = {10.5281/zenodo.7677431}, url = {https://doi.org/10.5281/zenodo.7677431} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域中，高质量标注语料库的构建是推动低资源语言研究的关键。该数据集源自9个乌兹别克语新闻网站及新闻门户，涵盖政治、体育、娱乐、科技等15个主题类别，共采集512,750篇文章，总词量超过1.2亿。所有文本均采用拉丁字母书写，经过系统化整理与标注，形成包含文本和标签两个字段的结构化数据。数据集被划分为训练集（410,200条）、验证集（51,275条）和测试集（51,275条），为多标签文本分类任务提供了规模可观且分布均衡的基础资源。

使用方法

该数据集在HuggingFace平台上以标准格式发布，可通过`datasets`库直接加载使用。用户调用`load_dataset('murodbek/uz-text-classification')`即可获取包含训练、验证和测试三个分片的数据集。每个样本包含`text`（字符串类型）与`label`（整数类型，对应15个类别）两个字段，适合直接用于文本分类模型的训练与评估。数据集同时支持掩码语言建模和文本生成任务，可配合Transformer系列模型进行微调。详细信息与代码示例可参考其GitHub仓库及配套论文。

背景与挑战

背景概述

乌兹别克语作为中亚地区的重要语言，其自然语言处理研究长期受限于标注语料资源的匮乏。2023年，由Elmurod Kuriyozov等研究人员构建的UzbekTextClassification数据集应运而生，旨在填补乌兹别克语文本分类领域的空白。该数据集依托于乌兹别克斯坦Urdu大学的研究力量，从9个主流新闻网站与新闻门户中采集了超过51万篇新闻文章，涵盖政治、体育、科技、经济等15个细分类别，总词汇量逾1.2亿。这一大规模、多标签的文本语料库的发布，为乌兹别克语的文本分类、掩码填充及文本生成等下游任务提供了坚实的数据基础，显著推动了低资源语言在自然语言处理领域的研究进展。

当前挑战

该数据集所面临的挑战主要体现在两个维度。在领域问题层面，乌兹别克语作为低资源语言，缺乏大规模、高质量且覆盖多类别的标注语料，这严重制约了文本分类模型在该语言上的性能表现，现有模型往往因数据稀疏而难以捕捉丰富的语义特征。在构建过程中，研究团队需从多个来源整合异构新闻数据，面临文本格式不一、编码混乱及类别不平衡等难题；同时，所有文本均需统一转换为拉丁字母，并经由人工标注确保分类准确性，这一过程耗费大量人力与时间，且需严格把控标注一致性以避免噪声引入，最终构建出可复用的基准数据集。

常用场景

经典使用场景

在自然语言处理领域，乌兹别克语作为低资源语言长期缺乏大规模、高质量的标准评测数据集。murodbek/uz-text-classification数据集应运而生，其经典使用场景集中于多标签文本分类任务，涵盖从汽车、女性、世界新闻到体育、技术等15个细粒度类别。研究者可基于该语料库训练和评估乌兹别克语文本分类模型，验证不同深度学习架构（如LSTM、Transformer）在低资源语言上的迁移学习能力，同时为乌兹别克语新闻自动归类、主题识别等基础研究提供标准化基准。

解决学术问题

该数据集有效缓解了乌兹别克语自然语言处理中标注数据匮乏的困境，解决了跨类别文本分类的学术研究难题。通过汇聚超过51万篇新闻文章和120万词汇的拉丁字母乌兹别克语语料，它为低资源语言的多标签分类任务提供了规模化的实验平台。研究者可借此探索类别不平衡处理、特征工程优化以及预训练语言模型（如mBERT、XLM-R）在乌兹别克语上的微调策略，推动了中亚语言信息处理的理论发展，并为低资源语言NLP的通用方法论提供了实证支撑。

实际应用

在实际应用中，该数据集支撑了乌兹别克斯坦新闻媒体与数字平台的智能化转型。基于此数据集训练的文本分类模型可自动将新闻稿件归类至政治、经济、体育等栏目，显著提升内容管理效率。此外，该数据集还可赋能舆情监控系统，实时分析社交媒体与新闻网站中的话题分布与情感倾向，辅助政府机构与企业进行决策研判。在技术层面，它也被用于开发乌兹别克语搜索引擎的文本排序与标签推荐功能，优化用户的信息获取体验。

数据集最近研究

最新研究方向

在自然语言处理领域，低资源语言的文本分类研究正成为推动语言技术普惠化的关键前沿。murodbek/uz-text-classification数据集专为乌兹别克语构建，涵盖来自九个新闻门户的逾51万篇多标签文章，横跨政治、体育、科技等15个细分类别，为这一中亚语言的研究提供了大规模、高质量的语料基础。当前，该数据集被广泛用于预训练语言模型的微调与评估，尤其在乌兹别克语拉丁化文本的语义理解与主题识别任务中展现出重要价值。随着中亚地区数字化进程加速，该资源不仅填补了乌兹别克语在文本分类领域的空白，也为多语言模型的区域适应性研究提供了实证支撑，推动了低资源语言在信息检索、舆情分析及内容推荐等应用中的技术落地。