hanfangyy/causal_lm_test-tokenized_datasets
收藏Hugging Face2024-05-15 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/hanfangyy/causal_lm_test-tokenized_datasets
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: input_ids
sequence: int32
splits:
- name: train
num_bytes: 8608316028
num_examples: 16682783
- name: valid
num_bytes: 48024120
num_examples: 93070
download_size: 3800586043
dataset_size: 8656340148
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: valid
path: data/valid-*
---
提供机构：
hanfangyy
原始信息汇总
数据集概述
数据集特征
- input_ids：整数序列，数据类型为 int32。
数据集划分
- 训练集 (train)：
- 样本数量：16682783
- 数据大小：8608316028 字节
- 验证集 (valid)：
- 样本数量：93070
- 数据大小：48024120 字节
数据集大小
- 下载大小：3800586043 字节
- 数据集总大小：8656340148 字节
数据文件配置
- 默认配置 (default)：
- 训练集路径：
data/train-* - 验证集路径：
data/valid-*
- 训练集路径：
