mc4
收藏官方服务：
资源简介：
mC4是一个多语言的语料库，基于Common Crawl数据集构建，并由AllenAI进行整理和托管。它支持包括非洲语、中文、英语等108种语言，以及部分语言的拉丁转写版本。该语料库主要用于预训练语言模型和词嵌入，并提供诸如URL、文本内容和时间戳等数据字段。数据集以ODC-BY协议发布。请注意，该数据集已被弃用，建议使用allenai/c4代替。
提供机构：
AIWizards创建时间：
2024-07-19
社区交流群
科研交流群
商业服务
mC4是一个多语言的语料库，基于Common Crawl数据集构建，并由AllenAI进行整理和托管。它支持包括非洲语、中文、英语等108种语言，以及部分语言的拉丁转写版本。该语料库主要用于预训练语言模型和词嵌入，并提供诸如URL、文本内容和时间戳等数据字段。数据集以ODC-BY协议发布。请注意，该数据集已被弃用，建议使用allenai/c4代替。