MBZUAI-LLM/SlimPajama-627B-DC
收藏Hugging Face2023-09-20 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/MBZUAI-LLM/SlimPajama-627B-DC
下载链接
链接失效反馈官方服务：
资源简介：
这是[cerebras/SlimPajama-627B](https://huggingface.co/datasets/cerebras/SlimPajama-627B)的一个分割版本，根据数据来源进行了划分。数据集的内容与SlimPajama-627B相同。我们将来自不同来源的数据根据redpajama_setname进行划分，并保存到不同的目录中，以便于未来的数据集组合相关研究。该数据集包含15,967个jsonl文件，压缩后约为883G。
提供机构：
MBZUAI-LLM
原始信息汇总
数据集概述
数据集名称
- 数据集名称：cerebras/SlimPajama-627B的分割版本
数据集内容
- 内容与SlimPajama-627B相同。
数据集结构
- 数据根据来源（"redpajama_setname"）被分割，并保存在不同的目录中。
数据集用途
- 方便未来进行与数据集组合相关的研究。
