RedPajama-Commom-Crawl

kaggle2026-05-12 更新2026-06-17 收录

语言模型预训练

网页文本语料

数据链接：

https://www.kaggle.com/datasets/archlegend/common-crawl-rp 数据链接链接失效反馈

官方服务：

资源简介：

The Common Crawl subset of RedPajama dataset.

RedPajama数据集（RedPajama Dataset）的通用爬虫数据集（Common Crawl）子集

创建时间：

2026-05-12

dclm-baseline-1.0-llama3-tokenized

语言模型预训练

文本语料处理

DCLM-Baseline Pretokenized 数据集是 DCLM-Baseline 的预分词和全局洗牌版本，专为大规模语言模型预训练设计，尤其适用于 LLaMA 3.1 风格的训练流程。数据集包含约 4T 令牌和 2,949,254,346 份文档，使用 LLaMA 3.1 分词器进行独立编码，无填充或截断。通过固定随机种子对所有文档进行全局洗牌，确保原始数据的分片顺序不保留任何局部性。文

Hugging Face2026-04-26 更新300

erickfmm/red_pajama_es_hq_35

语言模型预训练

西班牙语文本

这是一个西班牙语文本数据集，用于文本生成和填空任务，数据集大小在10M到100M之间。它是latam-gpt/red_pajama_es_hq数据集的过滤版本，仅包含评分大于等于3.5的数据。

Hugging Face2025-06-12 更新120

virgool_62k

语言模型预训练

文本分析

该数据集是从virgool.io网站上公开收集的数据集合，通过特定标签和用户策略性地提取。数据集包含约62,000条记录，涵盖标题、文本、标签、点赞数、回复数、阅读时间、用户ID和URL等关键属性。此资源特别有利于研究人员和开发者预训练大型语言模型（LLMs），因为'文本'列提供了丰富的语言使用语料库。此外，'标签'列非常适合主题建模应用。'点赞'和'回复'列提供了量化见解，可用于衡量内容参与度，

Hugging Face2024-06-20 更新90

ft-instruction-synthesizer-collection

语言模型预训练

多任务学习

本数据集包含用于论文'Instruction Pre-Training: Language Models are Supervised Multitask Learners'中基于上下文的指令合成器的微调数据集合。数据集涵盖了超过40个任务类别，包括文本分类、表格问答、问答和零样本分类等，用于生成指令-响应对以预训练语言模型。此外，数据集还详细介绍了多任务微调过程，以开发能够从任何原始文本生成指令

Hugging Face2024-06-19 更新190

regmix-data-sample

语言模型预训练

混合数据

RegMix Data Sample数据集是从Pile-Uncopyrighted数据集中精心挑选出来的，专门为RegMix论文设计，旨在通过将数据混合识别作为回归任务来促进语言模型预训练中的高性能数据混合自动识别。该数据集大小约为20GB，包含5B个token，遵循领域示例的自然token分布，并将不同领域的示例分别存储在单独的文件中。数据集分为两个主要目录：`train`和`valid`，每个

Hugging Face2024-07-11 更新90

RedPajama-Commom-Crawl

资源简介：

相关数据集