tugstugi/eduge

--- annotations_creators: - expert-generated language_creators: - expert-generated language: - mn license: - unknown multilinguality: - monolingual size_categories: - 10K<n<100K source_datasets: - original task_categories: - text-classification task_ids: - multi-class-classification pretty_name: Eduge dataset_info: features: - name: news dtype: string - name: label dtype: class_label: names: '0': урлаг соёл '1': эдийн засаг '2': эрүүл мэнд '3': хууль '4': улс төр '5': спорт '6': технологи '7': боловсрол '8': байгал орчин splits: - name: train num_bytes: 255275842 num_examples: 60528 - name: test num_bytes: 64451731 num_examples: 15133 download_size: 320395067 dataset_size: 319727573 --- # Dataset Card for Eduge ## Table of Contents - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards) - [Languages](#languages) - [Dataset Structure](#dataset-structure) - [Data Instances](#data-instances) - [Data Fields](#data-fields) - [Data Splits](#data-splits) - [Dataset Creation](#dataset-creation) - [Curation Rationale](#curation-rationale) - [Source Data](#source-data) - [Annotations](#annotations) - [Personal and Sensitive Information](#personal-and-sensitive-information) - [Considerations for Using the Data](#considerations-for-using-the-data) - [Social Impact of Dataset](#social-impact-of-dataset) - [Discussion of Biases](#discussion-of-biases) - [Other Known Limitations](#other-known-limitations) - [Additional Information](#additional-information) - [Dataset Curators](#dataset-curators) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) - [Contributions](#contributions) ## Dataset Description - **Homepage:** http://eduge.mn/ - **Repository:** https://github.com/tugstugi/mongolian-nlp - **Paper:** [Needs More Information] - **Leaderboard:** [Needs More Information] - **Point of Contact:** [Needs More Information] ### Dataset Summary Eduge news classification dataset provided by Bolorsoft LLC. Used to train the Eduge.mn production news classifier 75K news articles in 9 categories: урлаг соёл, эдийн засаг, эрүүл мэнд, хууль, улс төр, спорт, технологи, боловсрол and байгал орчин ### Supported Tasks and Leaderboards - `text-classification`: We can transform the above into a 9-class classification task. ### Languages The text in the dataset is in Mongolian ## Dataset Structure ### Data Instances For the `default` configuration: ``` { 'label': 0, # 'урлаг соёл' 'news': 'Шударга өрсөлдөөн, хэрэглэгчийн төлөө газар 2013 оны дөрөвдүгээр сараас эхлэн Монгол киноны ашиг орлогын мэдээллийг олон нийтэд хүргэж байгаа. Ингэснээр Монголын кино үйлдвэрлэгчид улсад ашиг орлогоо шударгаар төлөх, мөн чанартай уран бүтээлийн тоо өсөх боломж бүрдэж байгаа юм.', } ``` ### Data Fields - `news`: a complete news article on a specific topic as a string - `label`: the single class of the topic, among these values: "урлаг соёл" (0), "эдийн засаг" (1), "эрүүл мэнд" (2), "хууль" (3), "улс төр" (4), "спорт" (5), "технологи" (6), "боловсрол" (7), "байгал орчин" (8). ### Data Splits The set of complete articles is split into a training and test set. ## Dataset Creation ### Curation Rationale [Needs More Information] ### Source Data #### Initial Data Collection and Normalization [Needs More Information] #### Who are the source language producers? Eduge.mn which is a combination from shuud.mn, ikon.mn, olloo.mn, news.gogo.mn, montsame.mn, zaluu.com, sonin.mn, medee.mn, bloombergtv.mn. ### Annotations #### Annotation process [Needs More Information] #### Who are the annotators? [Needs More Information] ### Personal and Sensitive Information [Needs More Information] ## Considerations for Using the Data ### Social Impact of Dataset [Needs More Information] ### Discussion of Biases [Needs More Information] ### Other Known Limitations [Needs More Information] ## Additional Information ### Dataset Curators [Needs More Information] ### Licensing Information [Needs More Information] ### Citation Information No citation available for this dataset. ### Contributions Thanks to [@enod](https://github.com/enod) for adding this dataset.--- 注释创建者: - 专家生成 语言创建者: - 专家生成 语言: - 蒙古语（ISO 639-1代码：mn） 许可协议: - 未知 多语言属性: - 单语言 样本规模区间: - 10000 < n < 100000 源数据集: - 原创数据集 任务类别: - 文本分类 任务子类别: - 多类别分类 易读名称: Eduge 数据集信息: 特征项: - 名称: news 数据类型: 字符串 - 名称: label 数据类型: 分类标签: 类别名称: '0': 文化艺术（урлаг соёл） '1': 经济（эдийн засаг） '2': 医疗卫生（эрүүл мэнд） '3': 法律（хууль） '4': 政治（улс төр） '5': 体育（спорт） '6': 科技（технологи） '7': 教育（боловсрол） '8': 环境（байгал орчин） 划分集: - 名称: 训练集 字节数: 255275842 样本数: 60528 - 名称: 测试集 字节数: 64451731 样本数: 15133 下载大小: 320395067 数据集总大小: 319727573 --- # Eduge 数据集卡片 ## 目录 - [数据集描述](#dataset-description) - [数据集概述](#dataset-summary) - [支持任务与排行榜](#supported-tasks-and-leaderboards) - [语言](#languages) - [数据集结构](#dataset-structure) - [数据实例](#data-instances) - [数据字段](#data-fields) - [数据划分](#data-splits) - [数据集构建](#dataset-creation) - [构建初衷](#curation-rationale) - [源数据](#source-data) - [注释流程](#annotations) - [个人与敏感信息](#personal-and-sensitive-information) - [数据使用注意事项](#considerations-for-using-the-data) - [数据集的社会影响](#social-impact-of-dataset) - [偏差讨论](#discussion-of-biases) - [其他已知局限性](#other-known-limitations) - [附加信息](#additional-information) - [数据集维护者](#dataset-curators) - [许可信息](#licensing-information) - [引用信息](#citation-information) - [贡献者](#contributions) ## 数据集描述 - **主页**：http://eduge.mn/ - **代码仓库**：https://github.com/tugstugi/mongolian-nlp - **论文**：[暂无相关信息] - **排行榜**：[暂无相关信息] - **联系方式**：[暂无相关信息] ### 数据集概述 本数据集由Bolorsoft有限责任公司发布，为Eduge新闻分类数据集，用于训练Eduge.mn平台的生产级新闻分类模型。数据集共包含7.5万条新闻文章，涵盖9个分类类别：文化艺术（урлаг соёл）、经济（эдийн засаг）、医疗卫生（эрүүл мэнд）、法律（хууль）、政治（улс төр）、体育（спорт）、科技（технологи）、教育（боловсрол）与环境（байгал орчин）。 ### 支持任务与排行榜 - `文本分类`：可将本数据集转化为9分类任务。 ### 语言 数据集内所有文本均采用蒙古语撰写。 ## 数据集结构 ### 数据实例 针对`default`配置格式： { 'label': 0, # 文化艺术（урлаг соёл） 'news': 'Шударга өрсөлдөөн, хэрэглэгчийн төлөө газар 2013 оны дөрөвдүгээр сараас эхлэн Монгол киноны ашиг орлогын мэдээллийг олон нийтэд хүргэж байгаа. Ингэснээр Монголын кино үйлдвэрлэгчид улсад ашиг орлогоо шударгаар төлөх, мөн чанартай уран бүтээлийн тоо өсөх боломж бүрдэж байгаа юм.', } ### 数据字段 - `news`：代表特定主题的完整新闻文章，数据类型为字符串。 - `label`：代表该新闻主题的唯一分类标签，可选值如下： 0：文化艺术（урлаг соёл）、1：经济（эдийн засаг）、2：医疗卫生（эрүүл мэнд）、3：法律（хууль）、4：政治（улс төр）、5：体育（спорт）、6：科技（технологи）、7：教育（боловсрол）、8：环境（байгал орчин）。 ### 数据划分 完整的新闻文章集合被划分为训练集与测试集。 ## 数据集构建 ### 构建初衷 [暂无相关信息] ### 源数据 #### 初始数据收集与标准化 [暂无相关信息] #### 源语言文本的生产者 本数据集的源文本来自Eduge.mn平台，该平台整合了shuud.mn、ikon.mn、olloo.mn、news.gogo.mn、montsame.mn、zaluu.com、sonin.mn、medee.mn、bloombergtv.mn共9个新闻平台的内容。 ### 注释流程 #### 注释流程 [暂无相关信息] #### 注释人员 [暂无相关信息] ### 个人与敏感信息 [暂无相关信息] ## 数据使用注意事项 ### 数据集的社会影响 [暂无相关信息] ### 偏差讨论 [暂无相关信息] ### 其他已知局限性 [暂无相关信息] ## 附加信息 ### 数据集维护者 [暂无相关信息] ### 许可信息 [暂无相关信息] ### 引用信息 本数据集暂无公开可用的引用文献。 ### 贡献者 感谢[@enod](https://github.com/enod)为本数据集的收录提供支持。

原始信息汇总

数据集卡片 for Eduge

数据集描述

数据集摘要

Eduge新闻分类数据集由Bolorsoft LLC提供，用于训练Eduge.mn生产新闻分类器。包含75K篇新闻文章，分为9个类别：文化艺术、经济、健康、法律、政治、体育、技术、教育和环境。

支持的任务和排行榜

• text-classification：可以将其转换为9类分类任务。

语言

数据集中的文本为蒙古语。

数据集结构

数据实例

对于default配置： json { label: 0, # 文化艺术 news: Шударга өрсөлдөөн, хэрэглэгчийн төлөө газар 2013 оны дөрөвдүгээр сараас эхлэн Монгол киноны ашиг орлогын мэдээллийг олон нийтэд хүргэж байгаа. Ингэснээр Монголын кино үйлдвэрлэгчид улсад ашиг орлогоо шударгаар төлөх, мөн  чанартай уран бүтээлийн тоо өсөх боломж бүрдэж байгаа юм., }

数据字段

• news：特定主题的完整新闻文章，类型为字符串。
• label：主题的单一类别，取值范围为："文化艺术" (0), "经济" (1), "健康" (2), "法律" (3), "政治" (4), "体育" (5), "技术" (6), "教育" (7), "环境" (8)。

数据分割

完整文章集被分为训练集和测试集。

数据集创建

数据来源

初始数据收集和规范化

[需要更多信息]

源语言生产者是谁？

Eduge.mn，结合了shuud.mn, ikon.mn, olloo.mn, news.gogo.mn, montsame.mn, zaluu.com, sonin.mn, medee.mn, bloombergtv.mn。

注释

注释过程

[需要更多信息]

注释者是谁？

[需要更多信息]

个人和敏感信息

[需要更多信息]

使用数据的注意事项

数据集的社会影响

[需要更多信息]

偏见的讨论

[需要更多信息]

其他已知限制

[需要更多信息]

附加信息

数据集策展人

[需要更多信息]

许可信息

[需要更多信息]

引用信息

该数据集没有可用的引用。

贡献

感谢@enod添加此数据集。

搜集汇总

数据集介绍

构建方式

Eduge数据集由Bolorsoft LLC公司构建，旨在为蒙古语新闻分类任务提供高质量的标注语料。该数据集整合了来自Eduge.mn平台及其旗下多个新闻源（包括shuud.mn、ikon.mn、olloo.mn等）的原始文本，经过专家级人工标注，将每篇新闻文章归入九个预定义类别之一。数据集共包含75,000余条新闻样本，其中训练集60,528条，测试集15,133条，确保了模型训练与评估的充分性。每个样本由唯一的新闻文本和对应的类别标签组成，标签涵盖文化、经济、健康、法律、政治、体育、科技、教育及环境等多元领域。

特点

该数据集的核心特点在于其面向蒙古语单语种的文本分类任务，具有高度的领域专业性和语言原生性。类别体系设计全面，覆盖了社会生活的关键维度，有助于训练出能够精准识别蒙古语新闻主题的模型。数据集规模适中，介于1万至10万条之间，既避免了小样本带来的过拟合风险，又降低了大规模数据集的存储与计算负担。此外，所有标注均由领域专家完成，保证了标签的准确性和一致性，为下游分类任务提供了可靠的数据基础。

使用方法

使用Eduge数据集时，用户可直接通过HuggingFace Datasets库加载，默认配置下返回包含'news'（新闻文本字符串）和'label'（类别索引）的字典。该数据集专为多类文本分类任务设计，支持9个类别的监督学习。用户可将训练集用于模型训练，测试集用于性能评估。在预处理阶段，建议对蒙古语文本进行分词、去除停用词等标准化操作，以提升模型泛化能力。数据集兼容常见的深度学习框架（如PyTorch、TensorFlow），并可直接用于微调预训练语言模型或构建传统机器学习分类器。

背景与挑战

背景概述

在自然语言处理领域，低资源语言的文本分类任务长期面临数据匮乏的困境，蒙古语作为使用人口相对较少的语种，其新闻文本的自动化分类研究尤为薄弱。Eduge数据集由蒙古国Bolorsoft LLC公司于近年创建，旨在为蒙古语新闻分类提供标准化的训练与评估资源。该数据集收录了来自shuud.mn、ikon.mn等九大主流蒙古语新闻平台的75,000余篇完整文章，涵盖文化艺术、经济、健康、法律、政治、体育、科技、教育及生态环境九大类别，由领域专家进行标注，确保了标签的权威性。作为蒙古语自然语言处理领域为数不多的公开基准数据集，Eduge不仅支撑了Eduge.mn新闻分类系统的实际部署，更推动了低资源语言文本分类研究的发展，为后续蒙古语语义理解与信息抽取工作奠定了重要基础。

当前挑战

Eduge数据集所解决的领域问题为蒙古语新闻文本的多类别分类，其核心挑战在于蒙古语形态复杂、词缀丰富且语料资源稀缺，传统基于大规模预训练模型的方法难以直接迁移，需要针对性地设计特征提取与分类策略。在数据集构建过程中，面临多重困难：首先，新闻来源涵盖多个平台，不同站点的文本格式、编码标准与写作风格存在显著差异，数据清洗与归一化工作极为繁琐；其次，九类标签的分布不均衡可能影响模型泛化能力，需要谨慎划分训练集与测试集；此外，蒙古语新闻中大量出现专有名词、外来词及口语化表达，对标注一致性提出了极高要求，而当前数据集缺乏对标注者间信度的详细记录，为后续误差分析带来隐患。

常用场景

经典使用场景

Eduge数据集作为蒙古语新闻文本分类领域的标杆性资源，其最经典的使用场景在于构建面向九大新闻类别的多分类模型。该数据集汇聚了来自蒙古国主流新闻门户的七万余篇完整新闻文章，涵盖文化、经济、健康、法律、政治、体育、技术、教育及环境等类别，为研究者提供了高质的标注语料。学术界常以此为基础，探索在低资源语言环境下如何利用预训练语言模型或传统机器学习方法实现精准的新闻主题归类，从而推动蒙古语自然语言处理技术的进步。

解决学术问题

该数据集有效回应了低资源语言文本分类中标注数据匮乏的核心困境。通过提供大规模的专家标注语料，Eduge使得研究者能够系统性地评估不同分类算法在蒙古语上的泛化表现，并深入探讨类别不平衡、领域适应性等学术议题。其意义在于为蒙古语信息检索、舆情监测等研究奠定了数据基石，同时为跨语言迁移学习与多语言模型在低资源场景下的性能对比提供了可复现的基准。

衍生相关工作

围绕Eduge数据集衍生出的经典工作主要集中于蒙古语自然语言处理的模型优化与范式创新。研究者基于此构建了首个针对蒙古语的预训练语言模型（如MongolianBERT）及其微调流程，验证了在新闻分类任务上的显著提升。此外，该数据集被用作跨语言知识蒸馏的评测基准，推动了双语或多语言模型在低资源语言上的适配研究，并催生了一系列关于数据增强与少样本学习在蒙古语场景下的实证探索。