ihanif/pashto-wikipedia-corpus

该数据集是Pashto Wikipedia的清理版本，经过处理去除了HTML标签、URL、特殊字符和数字，并进行了文本标准化和过滤，移除了非常短的条目。数据集仅包含训练集，每个实例包含url、title和text三个字段。

This dataset is a cleaned version of the Pashto Wikipedia dump. It has been processed to remove HTML tags, URLs, special characters, and numbers. The text has been normalized and filtered to remove very short entries. The dataset contains only a train split, and each instance includes url, title, and text fields.

原始信息汇总

数据集卡片：Pashto Wikipedia Clean Corpus

数据集描述

该数据集是Pashto Wikipedia转储的清理版本。经过处理以去除HTML标签、URL、特殊字符和数字。文本已进行归一化处理，并过滤掉非常短的条目。

语言

数据集为Pashto语言（ps）。

数据集结构

数据实例

每个数据实例包含以下字段：

• url：清理后的Pashto文本URL。
• title：清理后的Pashto文本标题。
• text：清理后的Pashto文本。

数据字段

• url：清理后的Pashto文本URL。
• title：清理后的Pashto文本标题。
• text：清理后的Pashto文本。

数据分割

数据集仅包含训练集。

数据集创建

源数据

源数据为Hugging Face数据集中的Pashto Wikipedia转储。

预处理

应用了以下预处理步骤：

1. 去除HTML标签
2. 去除URL
3. 去除特殊字符和数字
4. Unicode归一化
5. 去除多余空白
6. 过滤掉少于5个词的条目

数据使用注意事项

该数据集旨在用于Pashto语言的语言建模和其他NLP任务。用户应注意，尽管已尽力清理数据，但仍可能存在一些噪声或错误。

附加信息

该数据集由Hanif Rahman于2024年7月21日创建并上传。