Minuri/culturax_cleaned_version

---
language:
- si
license: cc-by-sa-4.0
task_categories:
- text-generation
pretty_name: Sinhala Cleaned Sentences - CulturaX
size_categories:
- 1M<n<10M
tags:
- sinhala
- low-resource
- pretraining
- cleaned
- deduplicated
---

# Sinhala Cleaned Sentences - CulturaX

Cleaned and deduplicated Sinhala sentences derived from `Minuri/sinhala-corpus-culturax`, produced through a multi-stage cleaning pipeline. This repo was used as pipeline storage across cleaning stages, with the final output being `stage10_final_corpus_deduped.csv`.

## Final Output

| File | Rows | Description |
|---|---|---|
| `stage10_final_corpus_deduped.csv` | 3,684,137 | Final cleaned and deduplicated sentences |

## Dataset Structure (final output)

| Column | Description |
|---|---|
| `sentence` | Cleaned Sinhala sentence |

## Pipeline Stages

This repo stores intermediate CSV files across the 12-stage cleaning pipeline (stage2 through stage10), including cleaning logs and filter reports.

## Pipeline Position

`Minuri/sinhala-corpus-culturax` → **this repo** → `Minuri/diverse_sinhala_dataset`

## Sources & Licenses

| Source | License |
|---|---|
| [uonlp/CulturaX](https://huggingface.co/datasets/uonlp/CulturaX) | mC4 + OSCAR licenses - requires contact info agreement on HuggingFace |

## Related Repositories

| Repo | Description |
|---|---|
| `Minuri/sinhala-corpus-culturax` | Raw sentences (4,707,451) |
| `Minuri/diverse_sinhala_dataset` | Final parent corpus |

---
语言：
- 僧伽罗语（Sinhala）
许可协议：知识共享署名-相同方式共享4.0（CC BY-SA 4.0）
任务类别：
- 文本生成（text-generation）
美观名称：僧伽罗语清洗句子 - CulturaX
规模类别：
- 100万<样本数<1000万
标签：
- 僧伽罗语（Sinhala）
- 低资源（low-resource）
- 预训练（pretraining）
- 清洗后（cleaned）
- 去重（deduplicated）
---

# 僧伽罗语清洗句子 - CulturaX

本数据集源自`Minuri/sinhala-corpus-culturax`，经过多阶段清洗流程处理后得到清洗并去重的僧伽罗语句子。本仓库用于存储各清洗阶段的中间结果，最终输出文件为`stage10_final_corpus_deduped.csv`。

## 最终输出

| 文件名 | 样本行数 | 描述 |
|---|---|---|
| `stage10_final_corpus_deduped.csv` | 3,684,137 | 最终清洗并去重的僧伽罗语句子集合 |

## 数据集结构（最终输出版本）

| 列名 | 描述 |
|---|---|
| `sentence` | 清洗后的僧伽罗语句子 |

## 清洗流程阶段

本仓库存储了12阶段清洗流程（阶段2至阶段10）的中间CSV文件，包含清洗日志与过滤报告。

## 数据集流转路径

`Minuri/sinhala-corpus-culturax` → **本仓库** → `Minuri/diverse_sinhala_dataset`

## 来源与许可协议

| 来源数据集 | 许可协议 |
|---|---|
| [uonlp/CulturaX](https://huggingface.co/datasets/uonlp/CulturaX) | mC4与OSCAR许可协议，需在HuggingFace平台签署联系方式同意书 |

## 相关仓库

| 仓库地址 | 描述 |
|---|---|
| `Minuri/sinhala-corpus-culturax` | 原始僧伽罗语句子数据集（共4,707,451条） |
| `Minuri/diverse_sinhala_dataset` | 本数据集的最终父级语料库 |