oyxy2019/BertTokenizer_THUCNews_10000_to_lm_datasets
收藏Hugging Face2023-04-23 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/oyxy2019/BertTokenizer_THUCNews_10000_to_lm_datasets
下载链接
链接失效反馈官方服务：
资源简介：
该数据集从seamew/THUCNewsText数据集中选取了10000条数据，用于微调IDEA-CCNL/Wenzhong2.0-GPT2-110M-BertTokenizer-chinese模型。数据集包含输入ID、token类型ID、注意力掩码和标签等特征，并分为训练集、验证集和测试集。
提供机构：
oyxy2019
原始信息汇总
数据集概述
数据集名称
BertTokenizer_THUCNews_10000_to_lm_datasets
数据集特征
- input_ids：整数序列，数据类型为int32。
- token_type_ids：整数序列，数据类型为int8。
- attention_mask：整数序列，数据类型为int8。
- labels：整数序列，数据类型为int64。
数据集分割
- 训练集：包含80000个样本，总大小为144640000字节。
- 验证集：包含8000个样本，总大小为14464000字节。
- 测试集：包含800个样本，总大小为1446400字节。
数据集大小
- 下载大小：24687721字节。
- 数据集总大小：160550400字节。
