oyxy2019/GPTTokenizer_THUCNews_10000_to_lm_datasets
收藏Hugging Face2023-05-01 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/oyxy2019/GPTTokenizer_THUCNews_10000_to_lm_datasets
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 134080000
num_examples: 80000
- name: validation
num_bytes: 13408000
num_examples: 8000
- name: test
num_bytes: 1340800
num_examples: 800
download_size: 24032981
dataset_size: 148828800
---
# Dataset Card for "GPTTokenizer_THUCNews_10000_to_lm_datasets"
[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
提供机构：
oyxy2019
原始信息汇总
数据集概述
数据集特征
- input_ids: 数据类型为
int32，具有序列性质。 - attention_mask: 数据类型为
int8，具有序列性质。 - labels: 数据类型为
int64，具有序列性质。
数据集分割
- 训练集 (train): 包含80000个样本，总大小为134080000字节。
- 验证集 (validation): 包含8000个样本，总大小为13408000字节。
- 测试集 (test): 包含800个样本，总大小为1340800字节。
数据集大小
- 下载大小: 24032981字节。
- 数据集总大小: 148828800字节。
