MLDataScientist/Uzbek_news_dataset

这是一个乌兹别克语新闻数据集，包含512,750篇文章（总字数超过1.2亿，使用拉丁字母书写），这些文章是从2023年网络上抓取的。数据集由9个乌兹别克新闻网站和新闻门户的文章组成，涵盖了政治、体育、娱乐、技术等多个类别。该数据集的主要用途是用于乌兹别克语的文本分类和大型语言模型的微调。

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-4.0
• 数据集名称: Uzbek News Articles
• 语言: Uzbek
• 任务类别: text-generation
• 大小类别: 100K<n<1M

数据集特征

• folder: 字符串类型
• title: 字符串类型
• text: 字符串类型
• title_len: 整数类型
• text_len: 整数类型

数据集拆分

• 训练集:
  • 示例数量: 512,750
  • 数据大小: 1126829322字节

下载与数据集大小

• 下载大小: 590025488字节
• 数据集大小: 1126829322字节

数据来源

• 数据集包含512,750篇文章，总计超过120 million字，来源于9个乌兹别克新闻网站和新闻门户。
• 涵盖政治、体育、娱乐、科技等多个类别。
• 所有文本均使用拉丁字母。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量且规模可观的数据集对于预训练语言模型的微调至关重要。该乌兹别克语新闻数据集（Uzbek News Dataset）由研究人员通过网络爬虫技术，于2023年从9个涵盖政治、体育、娱乐、科技等多个领域的乌兹别克语新闻网站及新闻门户中系统性地采集而来。最终汇集了512,750篇新闻文章，总计超过1.2亿词，所有文本均采用拉丁字母书写，并按照15个不同的主题类别进行组织，形成了一个规模宏大且内容多样的语料库。

特点

该数据集的核心亮点在于其规模与多样性。包含超过50万篇新闻文章，总词量逾1.2亿，在乌兹别克语资源中极为罕见。其内容横跨15个高度区分的主题类别，为文本分类、语言建模等任务提供了丰富的语义信息。所有文本均采用拉丁字母，保证了字符编码的一致性，便于直接用于现代深度学习模型。数据集被划分为训练集，包含512,750个样本，数据总量超过1GB，为训练大型语言模型提供了充足的数据支撑。

使用方法

该数据集在HuggingFace上以标准格式发布，支持通过`datasets`库直接加载。用户只需指定数据集名称`MLDataScientist/Uzbek_news_dataset`并调用`load_dataset()`函数，即可获取包含`folder`、`title`、`text`、`title_len`和`text_len`字段的数据。该数据集主要面向文本生成任务，尤其适合对乌兹别克语大语言模型进行领域内微调。研究者可利用其丰富的文本内容进行序列到序列建模、语言模型预训练或文本分类等下游任务的实验与开发。

背景与挑战

背景概述

乌兹别克语作为中亚地区的重要语言，在自然语言处理领域长期面临资源匮乏的困境，尤其是大规模、高质量文本语料库的缺失制约了相关研究的进展。2023年，由研究人员Elmurod Kuriyozov等主导构建的Uzbek News Dataset应运而生，该数据集通过从9个乌兹别克语新闻网站与新闻门户网站爬取，收集了涵盖政治、体育、娱乐、科技等15个类别的512,750篇新闻文章，总词量超过1.2亿，全部采用拉丁字母书写。该数据集不仅为乌兹别克语的文本分类、语言模型微调等下游任务提供了坚实基础，也填补了该语言在低资源场景下的数据空白，对推动中亚地区自然语言处理研究具有里程碑意义。

当前挑战

该数据集面临的核心挑战首先体现在领域问题的解决上：乌兹别克语缺乏像英语或汉语那样丰富的标注语料，现有模型难以直接迁移，而数据集虽规模可观，但类别分布不均可能影响分类模型的泛化能力，尤其是在小众类别上表现欠佳。其次，构建过程中亦遭遇诸多困难：数据源自不同新闻网站，格式与编码标准不一，需进行大量清洗与统一处理；网络爬取面临动态反爬机制与网站结构变更的干扰，导致数据采集效率不稳定；此外，所有文本需确保为拉丁字母书写，以排除西里尔字母变体的干扰，这进一步增加了预处理复杂度。

常用场景

经典使用场景

在自然语言处理与低资源语言研究的交汇点上，乌兹别克语新闻数据集（Uzbek News Dataset）为文本分类任务提供了坚实的数据基石。该数据集囊括了来自九个新闻门户的逾51万篇文章，覆盖政治、体育、娱乐、科技等15个类别，语料规模达1.2亿词，且全部采用拉丁字母书写。研究者可基于此开展多类别文本分类模型的训练与评估，探索乌兹别克语在词嵌入、序列标注及语义理解上的独特规律，尤其适用于检验预训练语言模型在低资源语言上的泛化能力。

实际应用

在实际应用中，该数据集为乌兹别克语的信息检索系统与内容审核机制提供了关键支撑。新闻机构可借助基于该数据训练的模型自动对稿件进行主题归档，提升内容管理效率；社交媒体平台能够利用其进行低资源语言的垃圾信息识别与敏感内容过滤；此外，该数据集还可服务于乌兹别克语的舆情监测系统，通过实时分类新闻流中的政治、经济动态，为决策者提供数据驱动的洞察。

衍生相关工作

该数据集催生了多项基础性研究工作。原始论文系统分析了乌兹别克语文本分类的基线方法，包括传统机器学习与深度学习模型的对比实验。后续工作在此基础上延伸至乌兹别克语的命名实体识别与情感分析任务；另有研究者利用该数据集构建了首个乌兹别克语预训练语言模型，探索了在低资源场景下进行掩码语言建模的可行性。这些衍生工作共同推动了中亚语言自然语言处理生态的初步形成。