pbelcak/pmc-train-5000000-to-5100000-GemmaTokens
收藏Hugging Face2024-05-08 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/pbelcak/pmc-train-5000000-to-5100000-GemmaTokens
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 5250536750
num_examples: 1073855
download_size: 1833829528
dataset_size: 5250536750
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
The dataset includes two features: input_ids (sequence type, int32) and attention_mask (sequence type, int8). It is divided into a training set with 1073855 examples, totaling 5250536750 bytes. The download size of the dataset is 1833829528 bytes. The dataset configuration is set to default, with the training data file path being data/train-*.
提供机构：
pbelcak
原始信息汇总
数据集概述
数据集特征
- input_ids：序列类型为
int32。 - attention_mask：序列类型为
int8。
数据集划分
- 训练集（train）：
- 数据量：1073855个样本。
- 存储大小：5250536750字节。
数据集大小
- 下载大小：1833829528字节。
- 数据集总大小：5250536750字节。
配置信息
- 配置名称：default
- 数据文件路径：
- 训练集路径：
data/train-*
- 训练集路径：
