# Common Pile v0.1 — Parquet Consolidated ## Description This dataset bundles **all “raw” corpora from the Common Pile v0.1 Raw Data [collection](https://huggingface.co/collections/common-pile/commo
Common Pile v0.1是一个包含公共领域和开放许可文本的8TB数据集。这个数据集整合了所有原始的Common Pile v0.1 Raw Data集合，转换成了Apache Parquet格式，并合并到一个单一的仓库中。数据集保留了原始的三个列（文档ID、文本、来源），并添加了一个额外的列，用于基于长度的快速过滤。该数据集遵循各个语料库的许可协议。
