AlppAI/SlimPajama-chunked
收藏官方服务：
资源简介：
这是一个对Cerebras的SlimPajama-627B数据集进行分块重新上传的版本。原数据集被分割成10个块，每个块包含超过5000个文件，这使得下载和处理变得繁琐。我们为了自己的目的下载了整个数据集，并决定上传这个分块版本以便于使用。每个文件由于HuggingFace的LFS文件限制，大小约为45GB。
这是一个对Cerebras的SlimPajama-627B数据集进行分块重新上传的版本。原数据集被分割成10个块，每个块包含超过5000个文件，这使得下载和处理变得繁琐。我们为了自己的目的下载了整个数据集，并决定上传这个分块版本以便于使用。每个文件由于HuggingFace的LFS文件限制，大小约为45GB。
提供机构：
AlppAI原始信息汇总
SlimPajama-Chunked
数据集描述
这是一个对Cerebras的SlimPajama-627B数据集的分块重新上传。原始上传将数据集分成了10个块，每个块包含超过5,000个文件，这使得下载和处理变得繁琐。我们下载了整个数据集并决定上传分块版本以便于使用。
每个文件大小约为45GB，这是由于HuggingFace对每个LFS文件50GB的限制。
