DatarrX/myX-Mega-Corpus

---
license: apache-2.0
task_categories:
- text-generation
language:
- my
size_categories:
- 10M<n<100M
---
# myX-Mega-Corpus (Myanmar NLP Resource)


## 📌 Project Overview
**myX-Mega-Corpus** is a comprehensive, large-scale Burmese language dataset curated by **DatarrX**. It consists of approximately **16 million rows** of cleaned and shuffled Burmese text. While originally designed for training the **myX-Semantic** word embedding model, this corpus is highly versatile and can be used for any NLP task, including LLM fine-tuning, sentiment analysis, and machine translation.

## 📚 Dataset Sources & Attribution
This corpus is an aggregation of the following high-quality resources. We strictly adhere to open-source ethics and acknowledge the original authors:

1. **Myanmar Spoken Corpus**: Compiled by [freococo](https://huggingface.co/datasets/freococo/myanmar_spoken_corpus). License: **CC-BY-4.0**. This dataset contributes approximately 15 million rows of spoken and social media text.
2. **myX-Corpus**: Compiled by [**Khant Sint Heinn (Kalix Louis)**](https://huggingface.co/kalixlouiis). This dataset includes a diverse range of Burmese literary and technical text.

## 🛠 Data Specifications
* **Total Rows:** 16,000,000+
* **File Format:** Raw Text (.txt)
* **Language:** Burmese (Unicode Standard)
* **Encoding:** UTF-8
* **Preprocessing:** Zawgyi to Unicode normalization, duplicate removal, and noise filtering were performed.

## ⚖️ License
**CC-BY-4.0 (Creative Commons Attribution 4.0 International)**
You are free to share, copy, and adapt this material for any purpose, even commercially, as long as you provide appropriate credit to the original authors and **DatarrX**.

---

## 📌 စီမံကိန်းအကျဉ်း
**myX-Mega-Corpus** သည် **DatarrX** မှ စုစည်းဖန်တီးထားသော အကြီးစား မြန်မာဘာသာစကား ဒေတာစု (Dataset) ဖြစ်သည်။ စုစုပေါင်း စာကြောင်းရေ **၁၆ သန်းကျော်** (၅.၃ GB ဝန်းကျင်) ပါဝင်ပြီး သန့်စင်ပြီးသား (Cleaned) ဒေတာများကို စနစ်တကျ ရောနှော (Shuffled) ထားသည်။ မူလက **myX-Semantic** (Word Embedding Model) လေ့ကျင့်ရန် ရည်ရွယ်ခဲ့သော်လည်း ယခုအခါ မည်သည့် NLP လုပ်ငန်းစဉ်များ (ဥပမာ - LLM training, Sentiment analysis) အတွက်မဆို အခမဲ့ အသုံးပြုနိုင်သည်။

## 📚 ရင်းမြစ်နှင့် ကျေးဇူးတင်လွှာ
ဤ Corpus ကို အောက်ပါ အရည်အသွေးမြင့် ရင်းမြစ်များမှ စုစည်းပေါင်းစပ်ထားခြင်းဖြစ်ပြီး မူရင်းပိုင်ရှင်များကို လေးစားစွာဖြင့် မှတ်တမ်းတင်အပ်ပါသည် -

၁။ **Myanmar Spoken Corpus**: [freococo](https://huggingface.co/datasets/freococo/myanmar_spoken_corpus) မှ စုစည်းထားခြင်းဖြစ်ပြီး လိုင်စင်မှာ **CC-BY-4.0** ဖြစ်သည်။ (စကားပြောဒေတာနှင့် လူမှုကွန်ရက်စာသား ၁၅ သန်းခန့် ပါဝင်သည်)။
၂။ **myX-Corpus**: [**Khant Sint Heinn (Kalix Louis)**](https://huggingface.co/kalixlouiis) မှ စုစည်းထားသော မြန်မာစာပေနှင့် နည်းပညာဆိုင်ရာ စာသားများ ဖြစ်သည်။

## 🛠 ဒေတာဆိုင်ရာ အချက်အလက်များ
* **စုစုပေါင်း စာကြောင်းရေ:** ၁၆,၀၀၀,၀၀၀ ကျော်
* **ဖိုင်အမျိုးအစား:** Raw Text (.txt)
* **ဘာသာစကား:** မြန်မာဘာသာ (ယူနီကုဒ်စံနှုန်း), အင်္ဂလိပ်ဘာသာ (အနည်းငယ်)
* **Encoding:** UTF-8
* **Preprocessing:** ဇော်ဂျီမှ ယူနီကုဒ်သို့ ပြောင်းလဲခြင်း၊ ထပ်နေသောစာကြောင်းများ ဖယ်ရှားခြင်းနှင့် အမှိုက်ဒေတာများ သန့်စင်ခြင်းတို့ကို ပြုလုပ်ထားသည်။

## ⚖️ လိုင်စင်
**CC-BY-4.0 (Creative Commons Attribution 4.0 International)**
ဤဒေတာများကို မည်သည့်ရည်ရွယ်ချက်ဖြင့်မဆို (စီးပွားရေးအရ အသုံးပြုခြင်းအပါအဝင်) လွတ်လပ်စွာ ကူးယူခြင်း၊ ပြုပြင်မွမ်းမံခြင်းနှင့် ဖြန့်ဝေခြင်းများ ပြုလုပ်နိုင်သည်။ သို့သော် မူရင်းရင်းမြစ်များနှင့် **DatarrX** ကို Credit (Attribution) သေချာစွာ ပေးရန် လိုအပ်သည်။

## 👥 About DatarrX
**DatarrX** is an open-source non-governmental organization dedicated to developing advanced Natural Language Processing (NLP) resources for the Burmese language။