Boredoom17/Nepali-Corpus

--- pretty_name: Nepali-Corpus task_categories: - text-generation - text-classification - other language: - ne tags: - nepali - corpus - devanagari - roman-nepali - code-mixed - low-resource license: other size_categories: - 1M<n<10M multilinguality: - monolingual source_datasets: - original --- # Nepali-Corpus ## What Is This? Everything combined—7.1 million rows of Nepali. News, Wikipedia, YouTube comments, all together. It's meant to be a solid foundation if you want to build NLP tools for Nepali. ## Dataset Composition Total rows: 7,167,456 | Subset | Rows | Domain profile | Script profile | |---|---:|---|---| | Full corpus | 7,167,456 | Formal + colloquial + encyclopedia + news | Devanagari, Latin, mixed | | Formal subset | 6,735,808 | Formal/news/encyclopedia writing | Mostly Devanagari | | Colloquial subset | 431,648 | Social media comments | Devanagari, Latin, mixed | | Roman subset | 307,999 | Colloquial social text | Latin | | Code-mixed subset | 19,845 | Colloquial mixed-script text | Mixed | ## Where It Came From - **IRIISNEPAL** — a dataset of formal Nepali writing (6M rows) - **YouTube comments** — real conversations (431k rows) - **Wikipedia** — encyclopedia articles (291k rows) - **News articles** — from Nepali news websites (87k rows) Each row tells you where it came from and what license it's under. ## Schema Each record includes: - text: textual content - source: source identifier (for example iriisnepal, youtube_comments, wikipedia_nepali, ratopati) - domain: formal, colloquial, encyclopedia, or news - script: devanagari, latin, or mixed - lang: language tag (for example ne, ne-roman, unknown) - date_collected: collection or extraction date - license: row-level license indicator ## Construction Notes - Pipeline-level deduplication is applied. - Social text undergoes basic noise reduction (for example repetitive symbols, spam-like artifacts, and links). - Wikipedia data is parsed from dump format and normalized to sentence-like rows. - Script tags are assigned using character-range heuristics. - The Hugging Face dataset viewer shows the first rows of the parquet file, so the corpus is ordered to surface more representative formal and encyclopedic examples first in the full preview. ## Research Use Cases - Nepali language model pretraining and domain adaptation - Formal-vs-colloquial register analysis - Script and code-mixing identification - Retrieval and classification in low-resource settings ## Limitations - This is an aggregate corpus with mixed licenses; row-level license filtering is necessary for strict compliance workflows. - Colloquial text contains non-standard spelling and platform-specific slang. - Language and script labels are heuristic and may contain limited noise. - The corpus is not released with fixed train/dev/test benchmarks. ## Ethical and Responsible Use This dataset should not be used to profile individuals or infer sensitive personal attributes. For production systems, users should implement additional filtering, auditing, and task-specific evaluation. ## License Statement The corpus is mixed-license. On Hugging Face, `other` means the dataset does not fit a single standard built-in license tag. The license column should be treated as the primary indicator for row-level usage conditions. - IRIISNEPAL rows: MIT - Wikipedia rows: CC BY-SA 4.0 - YouTube-derived rows: CC BY 4.0 metadata context - Scraped news rows: source-dependent ## Citation If people ask how to cite this: ``` Aadarsha Chhetri. (2026). Nepali-Corpus. Hugging Face Datasets. https://huggingface.co/datasets/Boredoom17/Nepali-Corpus ``` **BibTeX:** ```bibtex @dataset{aadarsha2026nepali_text_corpus, author = {Aadarsha Chhetri}, title = {Nepali-Corpus}, year = {2026}, url = {https://huggingface.co/datasets/Boredoom17/Nepali-Corpus} } ``` **Or just:** "We used Aadarsha Chhetri's Nepali-Corpus (2026)."pretty_name: 尼泊尔语语料库（Nepali-Corpus） task_categories: - 文本生成（text-generation） - 文本分类（text-classification） - 其他 language: - 尼泊尔语（ne） tags: - 尼泊尔语（nepali） - 语料库（corpus） - 天城文（Devanagari） - 罗马化尼泊尔语（roman-nepali） - 语码混合（code-mixed） - 低资源（low-resource） license: 其他 size_categories: - 100万<n<1000万 multilinguality: - 单语（monolingual） source_datasets: - 原始数据集（original） # 尼泊尔语语料库（Nepali-Corpus） ## 什么是本数据集？ 本数据集整合了全部7,167,456条尼泊尔语文本，涵盖新闻、维基百科、YouTube评论等多类来源，旨在为尼泊尔语自然语言处理（Natural Language Processing，简称NLP）工具的开发提供坚实的基础支撑。 ## 数据集构成 总数据行数：7,167,456 | 子集名称 | 数据行数 | 领域分布 | 脚本类型 | |---|---:|---|---| | 完整语料库 | 7,167,456 | 正式语体 + 口语语体 + 百科文本 + 新闻文本 | 天城文、拉丁字母、混合脚本 | | 正式语体子集 | 6,735,808 | 正式/新闻/百科类书面文本 | 以天城文为主 | | 口语语体子集 | 431,648 | 社交媒体评论 | 天城文、拉丁字母、混合脚本 | | 罗马化子集 | 307,999 | 口语化社交文本 | 拉丁字母 | | 语码混合子集 | 19,845 | 口语化混合脚本文本 | 混合脚本 | ## 数据来源 - **IRIISNEPAL**：尼泊尔语正式书面语数据集（共600万条） - **YouTube评论**：真实对话语料（共43.1万条） - **维基百科**：百科全书文章（共29.1万条） - **新闻文章**：来自尼泊尔语新闻网站的内容（共8.7万条） 每条数据均标注了其来源与适用许可证。 ## 数据模式（Schema） 每条记录包含以下字段： - `text`：文本内容 - `source`：来源标识符（例如`iriisnepal`、`youtube_comments`、`wikipedia_nepali`、`ratopati`） - `domain`：领域标签，可选值为正式语体、口语语体、百科文本、新闻文本 - `script`：脚本类型，可选值为天城文、拉丁字母、混合脚本 - `lang`：语言标签（例如`ne`、`ne-roman`、`unknown`） - `date_collected`：数据采集或抽取日期 - `license`：单条数据的许可证标识 ## 构建说明 - 已执行流水线级别的去重操作。 - 社交类文本已进行基础噪声清洗（例如重复符号、垃圾信息特征、链接等）。 - 维基百科数据从备份转储格式中解析，并归一化为类句子级别的行数据。 - 脚本类型标签基于字符范围启发式规则进行分配。 - 由于Hugging Face数据集查看器仅展示Parquet文件的前若干行，本语料库的排序规则为在完整预览中优先展示更具代表性的正式语体与百科类示例。 ## 研究应用场景 - 尼泊尔语大语言模型（Large Language Model，简称LLM）的预训练与领域自适应 - 正式语体与口语语体的语域分析 - 脚本类型与语码混合识别 - 低资源场景下的检索与分类任务 ## 局限性 - 本数据集为多来源聚合语料库，包含多种许可证类型；若需严格合规的使用流程，需针对单条数据进行许可证过滤。 - 口语类文本包含非标准拼写与平台专属俚语。 - 语言与脚本标签基于启发式规则生成，可能存在少量噪声。 - 本语料库未附带固定的训练/开发/测试基准划分。 ## 伦理与负责任使用 本数据集不得用于对个体进行画像或推断敏感个人属性。对于生产级系统，使用者应额外实施过滤、审核与任务专属的评估流程。 ## 许可证声明 本语料库采用混合许可证模式。在Hugging Face平台中，`other`表示本数据集不符合单一标准内置许可证标签的范畴，单条数据的使用条件请以`license`字段为准。 - IRIISNEPAL条目：MIT许可证 - 维基百科条目：CC BY-SA 4.0许可证 - YouTube衍生条目：CC BY 4.0元数据上下文 - 爬取的新闻条目：许可证取决于原始来源 ## 引用方式 若需引用本数据集，可参考如下方式： Aadarsha Chhetri. (2026). Nepali-Corpus. Hugging Face Datasets. https://huggingface.co/datasets/Boredoom17/Nepali-Corpus **BibTeX格式：** bibtex @dataset{aadarsha2026nepali_text_corpus, author = {Aadarsha Chhetri}, title = {Nepali-Corpus}, year = {2026}, url = {https://huggingface.co/datasets/Boredoom17/Nepali-Corpus} } **或直接使用：** "我们使用了Aadarsha Chhetri于2026年发布的Nepali-Corpus语料库。"