CCQA数据集是由Meta AI和英属哥伦比亚大学合作创建的一个大规模开放领域问答数据集，基于Common Crawl项目，包含约1.3亿个多语言问答对，其中约6000万为英语数据点。该数据集旨在通过大规模、自然、多样且高质量的语料库，为问答任务预训练流行的语言模型。CCQA数据集通过schema.org的明确标注生成问答对，确保数据质量，并支持多种问答相关任务，如答案选择、评分和排名。此外，数据

arXiv2022-05-03 更新250

ola13/small-the_pile

语言模型预训练

文本语料库

--- dataset_info: features: - name: text dtype: string - name: meta struct: - name: perplexity_score dtype: float64 - name: pile_set_name dtype: string splits: -

Hugging Face2022-11-24 更新150

dclm-baseline-1.0-llama3-tokenized

语言模型预训练

文本语料处理

DCLM-Baseline Pretokenized 数据集是 DCLM-Baseline 的预分词和全局洗牌版本，专为大规模语言模型预训练设计，尤其适用于 LLaMA 3.1 风格的训练流程。数据集包含约 4T 令牌和 2,949,254,346 份文档，使用 LLaMA 3.1 分词器进行独立编码，无填充或截断。通过固定随机种子对所有文档进行全局洗牌，确保原始数据的分片顺序不保留任何局部性。文

Hugging Face2026-04-26 更新300

ft-instruction-synthesizer-collection

语言模型预训练

多任务学习

本数据集包含用于论文'Instruction Pre-Training: Language Models are Supervised Multitask Learners'中基于上下文的指令合成器的微调数据集合。数据集涵盖了超过40个任务类别，包括文本分类、表格问答、问答和零样本分类等，用于生成指令-响应对以预训练语言模型。此外，数据集还详细介绍了多任务微调过程，以开发能够从任何原始文本生成指令

Hugging Face2024-06-19 更新190

llm-lab-corpus

资源简介：

相关数据集