five

AlppAI/SlimPajama-chunked

收藏
Hugging Face2023-09-01 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/AlppAI/SlimPajama-chunked
下载链接
链接失效反馈
官方服务:
资源简介:
这是一个对Cerebras的SlimPajama-627B数据集进行分块重新上传的版本。原数据集被分割成10个块,每个块包含超过5000个文件,这使得下载和处理变得繁琐。我们为了自己的目的下载了整个数据集,并决定上传这个分块版本以便于使用。每个文件由于HuggingFace的LFS文件限制,大小约为45GB。

这是一个对Cerebras的SlimPajama-627B数据集进行分块重新上传的版本。原数据集被分割成10个块,每个块包含超过5000个文件,这使得下载和处理变得繁琐。我们为了自己的目的下载了整个数据集,并决定上传这个分块版本以便于使用。每个文件由于HuggingFace的LFS文件限制,大小约为45GB。
提供机构:
AlppAI
原始信息汇总

SlimPajama-Chunked

数据集描述

这是一个对Cerebras的SlimPajama-627B数据集的分块重新上传。原始上传将数据集分成了10个块,每个块包含超过5,000个文件,这使得下载和处理变得繁琐。我们下载了整个数据集并决定上传分块版本以便于使用。

每个文件大小约为45GB,这是由于HuggingFace对每个LFS文件50GB的限制。

5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作