venketh/SlimPajama-62B
收藏Hugging Face2023-11-30 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/venketh/SlimPajama-62B
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是cerebras/SlimPajama-627B的一个子集，包含了10%的`train`分割和100%的`test`和`validation`分割。`train`分割由原始数据集的`chunk2`组成，并分为五个zstd压缩的jsonl文件以便高效加载。数据集压缩后大小为70 GB，解压后为249 GB。
该数据集是cerebras/SlimPajama-627B的一个子集，包含了10%的`train`分割和100%的`test`和`validation`分割。`train`分割由原始数据集的`chunk2`组成，并分为五个zstd压缩的jsonl文件以便高效加载。数据集压缩后大小为70 GB，解压后为249 GB。
提供机构：
venketh
原始信息汇总
数据集概述
数据集来源
- 该数据集是 cerebras/SlimPajama-627B 的一个子集。
数据集内容
- 包含原始数据集
train分割的 10% 以及test和validation分割的 100%。 train分割来自原始数据集的chunk2，并被分割成五个 zstd 压缩的 jsonl 文件，以便高效加载。
数据集大小
- 压缩后大小为 70 GB。
- 解压后大小为 249 GB。
许可证
- 该数据集遵循 Apache-2.0 许可证。
