skypile-150B
收藏AI_Studio2023-12-10 更新2024-04-21 收录
下载链接：
https://aistudio.baidu.com/datasetdetail/251513
下载链接
链接失效反馈官方服务：
资源简介：
skypile-150Bskypile-150Bskypile-150Bskypile-150B
应用场景：
提供机构：
云洋相关数据集
SkyPile-150B
SkyPile-150B is a comprehensive, large-scale Chinese dataset specifically designed for the pre-training of large language models. It is derived from a broad array of publicly accessible Chinese Intern
始智AI2023-12-07 更新150
Skywork/SkyPile-150B
SkyPile-150B是一个专门为大型语言模型预训练设计的大规模中文数据集，来源于广泛的公开中文互联网网页。通过严格的过滤、去重和敏感数据过滤，确保了数据质量。数据集包含约233百万个独特的网页，每个网页平均包含超过1000个中文字符，总计约1500亿个标记和620GB的纯文本数据。
Hugging Face2023-12-07 更新2500
SkyPile-150B 综合性大规模中文数据集
SkyPile-150B 是专门为大型语言模型预训练而设计的综合性大规模中文数据集。它源自大量可公开访问的中国互联网网页。数据集采用严格的过滤、广泛的重复数据删除和彻底的敏感数据过滤来确保其质量。此外，研究人员还利用 fastText 和 BERT 等先进工具来过滤掉低质量的数据。
超神经2024-01-11 更新5030
SkyPile-150B
# SkyPile-150B ## Dataset Summary SkyPile-150B is a comprehensive, large-scale Chinese dataset specifically designed for the pre-training of large language models. It is derived from a broad array
魔搭社区2026-05-22 更新240
answer722qzd/SkyPile-150B
--- dataset_info: features: - name: text dtype: string splits: - name: train num_bytes: 23589506233 num_examples: 18696043 download_size: 15726787966 dataset_size: 23589506233
Hugging Face2024-05-21 更新70
