Wiki-Simple-Cleaned数据集是一个深度清理的Simple English Wikipedia版本,基于legacy-datasets/wikipedia。该数据集专门设计用于预训练微模型语言架构,旨在移除Wiki数据转储中的噪声(如服务部分、损坏的标记、参考文献列表),使模型能够专注于纯语言和事实学习,而非网页结构。清理流程包括:删除参考文献、参见、外部链接、延伸阅读和来源等部分;
# Dataset Card for Simple Wiki This dataset is a collection of pairs of English Wikipedia entries and their simplified variants. See [Simple-Wiki](https://cs.pomona.edu/~dkauchak/simplification/) fo