SlimPajama-chunk-9

这是一个对Cerebras的SlimPajama-627B数据集进行分块重新上传的版本。原数据集被分割成10个块，每个块包含超过5000个文件，这使得下载和处理变得繁琐。我们为了自己的目的下载了整个数据集，并决定上传这个分块版本以便于使用。每个文件由于HuggingFace的LFS文件限制，大小约为45GB。