CLUECorpus2020

By cleaning the Chinese part of Common Crawl, 100GB of high-quality Chinese pre-training corpus was finally obtained.通过对通用爬虫（Common Crawl）中的中文部分进行清洗处理，最终获得了100GB的高质量中文预训练语料库。

搜集汇总

背景与挑战

背景概述

CLUECorpus2020是一个大规模中文预训练语料库，通过清理Common Crawl的中文部分获得，包含100GB高质量文本数据。该数据集专为预训练语言模型设计，由CLUE机构于2020年发布，旨在支持中文自然语言处理任务。