iankur/SlimPajama-100M
收藏Hugging Face2024-05-29 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/iankur/SlimPajama-100M
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: text
dtype: string
- name: meta
struct:
- name: redpajama_set_name
dtype: string
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 404287170.9446808
num_examples: 92379
- name: validation
num_bytes: 39109042
num_examples: 9347
- name: test
num_bytes: 40114950
num_examples: 9346
download_size: 285718962
dataset_size: 483511162.9446808
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---
提供机构：
iankur
原始信息汇总
数据集概述
数据集特征
- text：字符串类型
- meta：结构化数据，包含子特征
- redpajama_set_name：字符串类型
- index_level_0：整数类型（int64）
数据集分割
- 训练集：包含92379个样本，总大小为404287170.9446808字节
- 验证集：包含9347个样本，总大小为39109042字节
- 测试集：包含9346个样本，总大小为40114950字节
数据集大小
- 下载大小：285718962字节
- 总大小：483511162.9446808字节
数据文件配置
- 配置名称：default
- 数据文件路径：
- 训练集：
data/train-* - 验证集：
data/validation-* - 测试集：
data/test-*
- 训练集：
