该数据集包含从SlimPajama-627B语料库中使用PRRC框架的推理维度选出的前30B个token。每个文档都经过基于ModernBERT的评估器打分，该评估器经过特别训练，用于评估理解文本所需的逻辑推理复杂度和深度。数据集的领域与SlimPajama相同，包括CommonCrawl、C4、GitHub、书籍、ArXiv、维基百科和StackExchange。

Hugging Face2025-06-15 更新290

izumi-lab/pile-modified

语言模型预训练

大规模文本语料

--- dataset_info: features: - name: text dtype: string - name: meta struct: - name: pile_set_name dtype: string splits: - name: train num_bytes: 1310018830416.1506

Hugging Face2023-08-05 更新130

Beetle-Data/da-100M-pretok

语言模型预训练

文本序列打包

该数据集名为Beetle-Data/da-100M-pretok，是一个经过预分块处理的数据集，每个块包含513个标记的打包序列（input_ids），确保没有跨文档的混合。数据集被分片上传，所有部分上传完成后，会通过data/_finalized.json文件进行标记。

Hugging Face2026-05-16 更新110

timaeus/pythia-160m-pile-1m-ig-l1h9

语言模型预训练

文本语料库

这是一个包含字符串内容、元数据和唯一标识符的数据集。它有一个训练集，包含了10000个样本。数据集可以通过默认配置访问。

Hugging Face2025-01-31 更新150

MA-tokenweights/wikitext-103-raw-v4-df-tokenlevel

语言模型预训练

文本分析

--- dataset_info: features: - name: article_id dtype: int64 - name: source_split dtype: string - name: source_line_start dtype: int64 - name: source_line_end dtype: int64 -

Hugging Face2026-03-28 更新120

suolyer/pile_bookcorpus2

资源简介：

数据集概述

许可证信息

相关数据集