CCNet

CCNet 是从 Common Crawl 中提取的数据集，其过滤过程与 OSCAR 不同。它是使用在 Wikipedia 上训练的语言模型构建的，以过滤掉质量差的文本，例如代码或表格。与 OSCAR 相比，CCNet 平均包含更长的文档，而 OSCAR 则淘汰了更小（通常更嘈杂）的文档。