AlppAI/SlimPajama-chunked
收藏Hugging Face2023-09-01 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/AlppAI/SlimPajama-chunked
下载链接
链接失效反馈官方服务：
资源简介：
这是一个对Cerebras的SlimPajama-627B数据集进行分块重新上传的版本。原数据集被分割成10个块，每个块包含超过5000个文件，这使得下载和处理变得繁琐。我们为了自己的目的下载了整个数据集，并决定上传这个分块版本以便于使用。每个文件由于HuggingFace的LFS文件限制，大小约为45GB。
这是一个对Cerebras的SlimPajama-627B数据集进行分块重新上传的版本。原数据集被分割成10个块，每个块包含超过5000个文件，这使得下载和处理变得繁琐。我们为了自己的目的下载了整个数据集，并决定上传这个分块版本以便于使用。每个文件由于HuggingFace的LFS文件限制，大小约为45GB。
提供机构：
AlppAI
原始信息汇总
SlimPajama-Chunked
数据集描述
这是一个对Cerebras的SlimPajama-627B数据集的分块重新上传。原始上传将数据集分成了10个块，每个块包含超过5,000个文件，这使得下载和处理变得繁琐。我们下载了整个数据集并决定上传分块版本以便于使用。
每个文件大小约为45GB，这是由于HuggingFace对每个LFS文件50GB的限制。
