Big Data language model - subword - BPE - RAW

B2FIND2026-04-29 收录

子词分词

语言模型预训练

数据链接：

https://b2find.eudat.eu/dataset/196d704b-53b1-50cf-ab16-92615f5d430e 数据链接链接失效反馈

官方服务：

资源简介：

Big data language model based on subword units, based on byte pair encoding in RAW format

dclm-baseline-1.0-llama3-tokenized

语言模型预训练

文本语料处理

DCLM-Baseline Pretokenized 数据集是 DCLM-Baseline 的预分词和全局洗牌版本，专为大规模语言模型预训练设计，尤其适用于 LLaMA 3.1 风格的训练流程。数据集包含约 4T 令牌和 2,949,254,346 份文档，使用 LLaMA 3.1 分词器进行独立编码，无填充或截断。通过固定随机种子对所有文档进行全局洗牌，确保原始数据的分片顺序不保留任何局部性。文

Hugging Face2026-04-26 更新300

ft-instruction-synthesizer-collection

语言模型预训练

多任务学习

本数据集包含用于论文'Instruction Pre-Training: Language Models are Supervised Multitask Learners'中基于上下文的指令合成器的微调数据集合。数据集涵盖了超过40个任务类别，包括文本分类、表格问答、问答和零样本分类等，用于生成指令-响应对以预训练语言模型。此外，数据集还详细介绍了多任务微调过程，以开发能够从任何原始文本生成指令

Hugging Face2024-06-19 更新190

erickfmm/red_pajama_es_hq_35

语言模型预训练

西班牙语文本

这是一个西班牙语文本数据集，用于文本生成和填空任务，数据集大小在10M到100M之间。它是latam-gpt/red_pajama_es_hq数据集的过滤版本，仅包含评分大于等于3.5的数据。

Hugging Face2025-06-12 更新120

Common Crawl Question Answering (CCQA) dataset

问答系统

语言模型预训练

CCQA数据集是由Meta AI和英属哥伦比亚大学合作创建的一个大规模开放领域问答数据集，基于Common Crawl项目，包含约1.3亿个多语言问答对，其中约6000万为英语数据点。该数据集旨在通过大规模、自然、多样且高质量的语料库，为问答任务预训练流行的语言模型。CCQA数据集通过schema.org的明确标注生成问答对，确保数据质量，并支持多种问答相关任务，如答案选择、评分和排名。此外，数据

arXiv2022-05-03 更新250

ola13/small-the_pile

语言模型预训练

文本语料库

--- dataset_info: features: - name: text dtype: string - name: meta struct: - name: perplexity_score dtype: float64 - name: pile_set_name dtype: string splits: -

Hugging Face2022-11-24 更新150

Big Data language model - subword - BPE - RAW

资源简介：

相关数据集