Common Corpus 通用语料库

Common Corpus 是一个由 PleIAs 于 2024 年发布的，包含超过 2 万亿个 tokens 的大型、开放且允许使用的文本数据集，它由 5 个多样化的子集组成，覆盖了书籍、报纸、科学文章、政府和法律文件、代码等多种类型的文本。 5 个子集分别是：

Common Corpus is a large, open and permissive text dataset released by PleIAs in 2024, which contains over 2 trillion tokens. It comprises five diverse subsets covering a wide range of text types including books, newspapers, scientific articles, government and legal documents, code and more. The five subsets are as follows:

搜集汇总

背景与挑战

背景概述

Common Corpus是一个大型、开放的文本数据集，包含超过2万亿个tokens，由5个多样化子集组成，支持商业和非商业用途，并附带详细技术报告。