The Pile

The Pile是由美国EleutherAI开源社区构建的大规模语言建模数据集，包含825GB的多样化英文文本。该数据集整合了22个高质量子数据集，涵盖书籍、学术论文、网站内容、代码、聊天记录等多种文本类型，旨在为大型语言模型提供丰富的跨领域训练语料，提升模型的泛化能力和世界知识理解。