dolma3-mix-150B-1025-common-crawl-01

kaggle2026-01-31 更新2026-02-14 收录

语言模型预训练

文本语料构建

数据链接：

https://www.kaggle.com/datasets/k3218321757/dolma3-mix-150b-1025-common-crawl-01 数据链接链接失效反馈

官方服务：

资源简介：

Dolma 3 Sample: 150B Mix , Dataset Sources Sample of data for 1Bx5C and 7Bx

Dolma 3 样本集：1500亿混合数据集，数据集来源：针对1Bx5C与7Bx的样本数据

创建时间：

2026-01-31

dclm-baseline-1.0-llama3-tokenized

语言模型预训练

文本语料处理

DCLM-Baseline Pretokenized 数据集是 DCLM-Baseline 的预分词和全局洗牌版本，专为大规模语言模型预训练设计，尤其适用于 LLaMA 3.1 风格的训练流程。数据集包含约 4T 令牌和 2,949,254,346 份文档，使用 LLaMA 3.1 分词器进行独立编码，无填充或截断。通过固定随机种子对所有文档进行全局洗牌，确保原始数据的分片顺序不保留任何局部性。文

Hugging Face2026-04-26 更新300

ft-instruction-synthesizer-collection

语言模型预训练

多任务学习

本数据集包含用于论文'Instruction Pre-Training: Language Models are Supervised Multitask Learners'中基于上下文的指令合成器的微调数据集合。数据集涵盖了超过40个任务类别，包括文本分类、表格问答、问答和零样本分类等，用于生成指令-响应对以预训练语言模型。此外，数据集还详细介绍了多任务微调过程，以开发能够从任何原始文本生成指令

Hugging Face2024-06-19 更新190

virgool_62k

语言模型预训练

文本分析

该数据集是从virgool.io网站上公开收集的数据集合，通过特定标签和用户策略性地提取。数据集包含约62,000条记录，涵盖标题、文本、标签、点赞数、回复数、阅读时间、用户ID和URL等关键属性。此资源特别有利于研究人员和开发者预训练大型语言模型（LLMs），因为'文本'列提供了丰富的语言使用语料库。此外，'标签'列非常适合主题建模应用。'点赞'和'回复'列提供了量化见解，可用于衡量内容参与度，

Hugging Face2024-06-20 更新90

erhwenkuo/c4-chinese-zhtw

语言模型预训练

文本数据集

这个繁体中文数据集来自Common Crawl的2023-14数据存档，经过清理后用于预训练语言模型。数据集包含URL、时间戳、内容语言、内容类型和清理后的文本等字段。清理过程包括下载、筛选、过滤非句子和有毒文档、去除重复文本和过度重复的文档。

Hugging Face2023-10-12 更新200

regmix-data-sample

语言模型预训练

混合数据

RegMix Data Sample数据集是从Pile-Uncopyrighted数据集中精心挑选出来的，专门为RegMix论文设计，旨在通过将数据混合识别作为回归任务来促进语言模型预训练中的高性能数据混合自动识别。该数据集大小约为20GB，包含5B个token，遵循领域示例的自然token分布，并将不同领域的示例分别存储在单独的文件中。数据集分为两个主要目录：`train`和`valid`，每个

Hugging Face2024-07-11 更新90

dolma3-mix-150B-1025-common-crawl-01

资源简介：

相关数据集