saketvempaty/SLM_Pretraining_Corpus

Name: saketvempaty/SLM_Pretraining_Corpus
Creator: saketvempaty
Published: 2025-09-19 13:37:08
License: 暂无描述

Hugging Face2025-09-19 更新2025-10-25 收录

下载链接：

https://hf-mirror.com/datasets/saketvempaty/SLM_Pretraining_Corpus

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: mit ---

提供机构：

saketvempaty

pretraining-corpus

Kiy-K合成预训练语料库是一个大规模的合成英文文本集合，专为语言模型预训练和指令调整研究设计。所有数据都是合成的，使用开源的大型语言模型如GPT-OSS、NVIDIA Nemotron和DeepSeek生成，并且不包含任何真实用户、版权或敏感信息。每条记录包含生成的文档文本和可选的元数据，如领域、长度或生成模型。数据集覆盖了多种领域，适用于小到中型LLM的预训练等。

Hugging Face2025-10-31 更新280

Korean and English Pretraining Corpus

该数据集是一个平衡的韩英文本语料库，旨在为双语大型语言模型优化模型训练。该语料库包含了来自多个来源的数据，特别注重减轻有害内容并保持结构完整性，以提高模型性能。其规模达到数太字节，任务是对双语语言模型进行预训练。

arXiv40

dedup_pretraining_corpus

该数据集包含文本数据，适用于训练任务。它包含一个名为'text'的字符串类型的特征。数据集分为训练集，共有219,711,920个示例，大小为71,763,059,873字节。

Hugging Face2025-06-22 更新110

agri-slm-corpus-3

Agriculture SLM Corpus v3 是一个专为印度农业领域设计的预训练语料库，旨在支持3亿参数规模的特定语言模型（SLM）训练。数据集包含两个核心文件：corpus_india_downsampled.jsonl 汇集了印度相关的多源文本数据，包括来自PubMed、EuropePMC、Wikipedia、扩展语料和印度农业研究委员会（ICAR）等的内容，涵盖约20.1万篇文档，总计

Hugging Face2026-07-07 更新00

abideen/pretrain_corpus

--- dataset_info: features: - name: text dtype: string splits: - name: train num_bytes: 199296832162.51273 num_examples: 65123248 - name: validation num_bytes: 35170032625.48

Hugging Face2024-04-03 更新50