C4Corpus (CC BY-NC-ND part)

B2FIND2026-04-25 收录

多语言语料库

语言模型训练

数据链接：

https://b2find.eudat.eu/dataset/af2f9e70-b077-5132-8bf8-b090f5ffafa7 数据链接链接失效反馈

官方服务：

资源简介：

A large web corpus (over 10 billion tokens) licensed under CreativeCommons license family in 50+ languages that has been extracted from CommonCrawl, the largest publicly...

该数据集为规模庞大的网络语料库，词元（Token）总数量超过100亿，采用知识共享（Creative Commons）许可协议家族授权，覆盖50余种语言，数据提取自全球规模最大的公开公共爬虫（Common Crawl）数据集，

SEVENLLM-Instruct

网络安全

语言模型训练

SEVENLLM-Instruct是由北京航空航天大学国家重点实验室创建的高质量双语指令数据集，包含85000个样本，用于训练大型语言模型以增强网络安全事件分析能力。该数据集通过爬取网络安全网站的原始文本构建，采用Select-Instruct方法生成监督学习数据。SEVENLLM-Instruct旨在解决网络安全领域数据稀缺问题，通过多任务学习提升模型在威胁识别和响应方面的性能，广泛应用于网络安

arXiv2024-05-06 更新920

premio-ai/TheArabicPile_Reviews

阿拉伯语评论

语言模型训练

The Arabic Pile是一个专注于阿拉伯语的综合数据集，旨在与The Pile和The Nordic Pile的结构相平行。该数据集涵盖了现代标准阿拉伯语（MSA）以及多种黎凡特、北非和埃及方言，适用于训练和微调大型语言模型。数据集包含13个子集，每个子集针对不同的语言领域，如数学内容、对话、医学文本等。数据集分为原始子集和去重子集，原始子集为从源收集的原始数据，去重子集则经过过滤和清理，

Hugging Face2024-03-21 更新230

drodin/TextBooksPersonaHub

语言模型训练

内容生成

TextBooksPersonaHub数据集是proj-persona/PersonaHub数据集的扩展，使用Qwen2-72B-Instruct模型生成与特定人物相关的教科书式段落。每个条目包含原始人物描述和生成的内容。数据集旨在用于训练语言模型、研究人物驱动的内容生成以及探索教科书质量数据在语言模型训练中的有效性。

Hugging Face2024-07-21 更新200

Daniel-P-Gonzalez/OCD

语言模型训练

文本数据清理

Only Clean Data (OCD)是一个精心策划和清理的文本语料库，旨在为训练基础语言模型提供最高质量的文本数据。数据集包括从C4、PLOS和CCOpenBooks等来源筛选的文本，经过手动检查和修复，确保文本质量。目前数据集包含三个子集：经过过滤的网页数据、经过处理的同行评审研究文章以及非小说类书籍。数据集还在持续开发中，计划扩展更多领域的内容。

Hugging Face2023-12-23 更新250

Slowblood/guanaco-llama2-1k

指令数据集

语言模型训练

--- dataset_info: features: - name: text dtype: string splits: - name: train num_bytes: 1654448 num_examples: 1000 download_size: 966693 dataset_size: 1654448 configs: - config

Hugging Face2023-10-19 更新210

C4Corpus (CC BY-NC-ND part)

资源简介：

相关数据集