alorenc/c4_5B_llama2_tok
收藏Hugging Face2026-02-20 更新2026-03-29 收录
下载链接：
https://hf-mirror.com/datasets/alorenc/c4_5B_llama2_tok
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 25039059936
num_examples: 4882812
- name: validation
num_bytes: 10014984
num_examples: 1953
download_size: 9558500927
dataset_size: 25049074920
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---
数据集信息：
特征：
- 名称：输入ID（input_ids），序列类型为32位整型
- 名称：注意力掩码（attention_mask），序列类型为8位整型
数据集划分：
- 划分名称：训练集，字节大小：25039059936，样本数量：4882812
- 划分名称：验证集，字节大小：10014984，样本数量：1953
下载总大小：9558500927，数据集总大小：25049074920
配置项：
- 配置名称：默认配置（default），数据文件：
- 训练集划分：路径为data/train-*
- 验证集划分：路径为data/validation-*
提供机构：
alorenc
