dolma3-mix-150B-1025-common-crawl-03

kaggle2026-01-31 更新2026-02-14 收录

语言模型预训练

网络文本语料

数据链接：

https://www.kaggle.com/datasets/k3218321757/dolma3-mix-150b-1025-common-crawl-03 数据链接链接失效反馈

官方服务：

资源简介：

Dolma 3 Sample: 150B Mix , Dataset Sources Sample of data for 1Bx5C and 7Bx

Dolma 3样本集：150B混合数据集，数据集来源：适用于1Bx5C与7Bx架构的样本数据

创建时间：

2026-01-31

dclm-baseline-1.0-llama3-tokenized

语言模型预训练

文本语料处理

DCLM-Baseline Pretokenized 数据集是 DCLM-Baseline 的预分词和全局洗牌版本，专为大规模语言模型预训练设计，尤其适用于 LLaMA 3.1 风格的训练流程。数据集包含约 4T 令牌和 2,949,254,346 份文档，使用 LLaMA 3.1 分词器进行独立编码，无填充或截断。通过固定随机种子对所有文档进行全局洗牌，确保原始数据的分片顺序不保留任何局部性。文

Hugging Face2026-04-26 更新300

ft-instruction-synthesizer-collection

语言模型预训练

多任务学习

本数据集包含用于论文'Instruction Pre-Training: Language Models are Supervised Multitask Learners'中基于上下文的指令合成器的微调数据集合。数据集涵盖了超过40个任务类别，包括文本分类、表格问答、问答和零样本分类等，用于生成指令-响应对以预训练语言模型。此外，数据集还详细介绍了多任务微调过程，以开发能够从任何原始文本生成指令

Hugging Face2024-06-19 更新190

regmix-data-sample

语言模型预训练

混合数据

RegMix Data Sample数据集是从Pile-Uncopyrighted数据集中精心挑选出来的，专门为RegMix论文设计，旨在通过将数据混合识别作为回归任务来促进语言模型预训练中的高性能数据混合自动识别。该数据集大小约为20GB，包含5B个token，遵循领域示例的自然token分布，并将不同领域的示例分别存储在单独的文件中。数据集分为两个主要目录：`train`和`valid`，每个

Hugging Face2024-07-11 更新90

erhwenkuo/c4-chinese-zhtw

语言模型预训练

文本数据集

这个繁体中文数据集来自Common Crawl的2023-14数据存档，经过清理后用于预训练语言模型。数据集包含URL、时间戳、内容语言、内容类型和清理后的文本等字段。清理过程包括下载、筛选、过滤非句子和有毒文档、去除重复文本和过度重复的文档。

Hugging Face2023-10-12 更新200

erickfmm/red_pajama_es_hq_35

语言模型预训练

西班牙语文本

这是一个西班牙语文本数据集，用于文本生成和填空任务，数据集大小在10M到100M之间。它是latam-gpt/red_pajama_es_hq数据集的过滤版本，仅包含评分大于等于3.5的数据。

Hugging Face2025-06-12 更新120