Odia-Web-Corpus-v5
收藏资源简介：
该数据集是迄今为止最大且最干净的奥里亚语（Odia）文本语料库，版本为v5。它由四个来源（v4语料库、abhilash87的维基百科和新闻抓取、culturax-odia的Common Crawl子集、hemendra的网络文本集合）合并并经过严格清洗得到，总共包含4,162,804个去重文档，大小为7.74 GB。清洗流程包括精确MD5去重（移除30.2%）、移除短行（少于10字符，移除6.2%）、过滤非奥里亚语（移除0.7%）、过滤低奥里亚语比例文本（少于10%奥里亚语字符，移除0.01%），以及剥离HTML和URL标记，整体缩减37.2%。数据以28个分片的Parquet文件存储，仅包含一个文本字段（text），类型为字符串。该数据集适用于文本生成、掩码填充等自然语言处理任务，以及奥里亚语的语言模型预训练。许可证为CC-BY-SA-4.0。
This dataset is the largest and cleanest Odia text corpus to date, version v5. It is compiled from four sources (v4 corpus, abhilash87s Wikipedia and news crawls, the culturax-odia subset of Common Crawl, and hemendras web text collection) and rigorously cleaned, resulting in a total of 4,162,804 deduplicated documents totaling 7.74 GB. The cleaning process includes exact MD5 deduplication (removing 30.2%), removal of short lines (fewer than 10 characters, removing 6.2%), filtering non-Odia text (removing 0.7%), filtering low Odia ratio text (less than 10% Odia characters, removing 0.01%), and stripping HTML and URL tags, reducing the overall size by 37.2%. The data is stored in 28 sharded Parquet files, containing only one text field (text) of type string. This dataset is suitable for natural language processing tasks such as text generation and mask filling, as well as pretraining language models for Odia. The license is CC-BY-SA-4.0.
数据集概述
Odia Web Corpus v5 是目前规模最大、质量最高的奥里亚语（Odia）文本语料库，包含 416万篇去重文档，总大小 7.74 GB。该数据集通过合并四个来源并进行严格清洗构建而成，适用于文本生成、掩码填充等自然语言处理任务。
基本信息
- 语言：奥里亚语（Odia，ISO 639-3:
or） - 格式：28个分片Parquet文件
- 总大小：7.74 GB
- 总文档数：4,162,804
- 许可证：CC-BY-SA-4.0
- 任务类别：文本生成（text-generation）、掩码填充（fill-mask）
- 数据规模：1M < n < 10M
数据字段
| 字段 | 类型 | 描述 |
|---|---|---|
text |
string | 清洗、去重后的奥里亚语文本 |
数据划分
- 训练集（train）：4,162,804 个样本
清洗流程
数据通过多阶段管道进行清洗，整体减少了 37.2% 的数据量（原始输入为663万行、9.91 GB）：
| 清洗阶段 | 移除比例 | 说明 |
|---|---|---|
| 去重 | 30.2% | 基于MD5哈希精确匹配 |
| 短行过滤 | 6.2% | 少于10个字符的行 |
| 非奥里亚语过滤 | 0.7% | 不含奥里亚语Unicode字符 |
| 低奥里亚语占比过滤 | 0.01% | 奥里亚语字符占比低于10% |
| HTML与URL清理 | — | 去除标记和链接 |
来源构成
| 数据源 | 描述 | 贡献量 |
|---|---|---|
| v4语料库 | 精选的奥里亚语网络文本 | 约310万行 |
| abhilash87 | 奥里亚语维基百科+新闻爬取 | 约90万行 |
| culturax-odia | Common Crawl奥里亚语子集 | 约50万行 |
| hemendra | 奥里亚语网络文本集合 | 约40万行 |
使用方式
该数据集可通过 Hugging Face datasets 库直接加载，示例如下：
python from datasets import load_dataset
ds = load_dataset("saidutta69/Odia-Web-Corpus-v5", split="train") print(f"Total documents: {len(ds)}") print(ds[0]["text"][:200])
引用方式
bibtex @misc{odia-web-corpus-v5, author = {Sai Dutta}, title = {Odia Web Corpus v5}, year = {2026}, publisher = {Hugging Face}, howpublished = {url{https://huggingface.co/datasets/saidutta69/Odia-Web-Corpus-v5}} }
