iankur/SlimPajama-600M
收藏Hugging Face2024-05-29 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/iankur/SlimPajama-600M
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: text
dtype: string
- name: meta
struct:
- name: redpajama_set_name
dtype: string
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 2435187517.2
num_examples: 559878
- name: validation
num_bytes: 39109042
num_examples: 9347
- name: test
num_bytes: 40114950
num_examples: 9346
download_size: 1479693225
dataset_size: 2514411509.2
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---
提供机构：
iankur
原始信息汇总
数据集概述
数据集特征
- text: 数据类型为字符串。
- meta: 结构化数据，包含子特征
redpajama_set_name，数据类型为字符串。 - index_level_0: 数据类型为整数64位。
数据集分割
- 训练集 (train): 包含559,878个样本，总大小为2,435,187,517.2字节。
- 验证集 (validation): 包含9,347个样本，总大小为39,109,042字节。
- 测试集 (test): 包含9,346个样本，总大小为40,114,950字节。
数据集大小
- 下载大小: 1,479,693,225字节。
- 数据集总大小: 2,514,411,509.2字节。
数据文件配置
- 配置名称: default
- 数据文件路径:
- 训练集:
data/train-* - 验证集:
data/validation-* - 测试集:
data/test-*
- 训练集:
