mc4

mC4是一个多语言的语料库，基于Common Crawl数据集构建，并由AllenAI进行整理和托管。它支持包括非洲语、中文、英语等108种语言，以及部分语言的拉丁转写版本。该语料库主要用于预训练语言模型和词嵌入，并提供诸如URL、文本内容和时间戳等数据字段。数据集以ODC-BY协议发布。请注意，该数据集已被弃用，建议使用allenai/c4代替。