CCNet

CCNet 是从 Common Crawl 中提取的数据集，其过滤过程与 OSCAR 不同。它是使用在 Wikipedia 上训练的语言模型构建的，以过滤掉质量差的文本，例如代码或表格。与 OSCAR 相比，CCNet 平均包含更长的文档，而 OSCAR 则淘汰了更小（通常更嘈杂）的文档。

CCNet is a dataset extracted from Common Crawl, whose filtering process differs from that of OSCAR. It is constructed using a language model trained on Wikipedia to filter out low-quality texts such as code or tables. Compared with OSCAR, CCNet contains longer documents on average, while OSCAR eliminates smaller (typically more noisy) documents.

搜集汇总

背景与挑战

背景概述

CCNet是一个高质量单语文本数据集，源自Common Crawl，通过Wikipedia训练的语言模型过滤低质量内容，特点是文档长度较长且噪声较少。