toramaru-u/cc100-ja-152
收藏Hugging Face2024-07-01 更新2024-07-06 收录
下载链接：
https://hf-mirror.com/datasets/toramaru-u/cc100-ja-152
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含两个配置：default和nsp。default配置包含一个名为text的字符串类型特征，适用于训练集，包含458,387,942个示例，文件大小为75,695,613,009字节。nsp配置包含四个特征：idx（int64类型）、next_sentence_label（int64类型）、sentence_a（字符串类型）和sentence_b（字符串类型），适用于训练集，包含127,086,714个示例，文件大小为31,150,074,680字节。
The dataset includes two configurations: default and nsp. The default configuration contains a feature named text of string type, applicable to the training set, with 458,387,942 examples and a file size of 75,695,613,009 bytes. The nsp configuration contains four features: idx (int64 type), next_sentence_label (int64 type), sentence_a (string type), and sentence_b (string type), applicable to the training set, with 127,086,714 examples and a file size of 31,150,074,680 bytes.
提供机构：
toramaru-u
原始信息汇总
数据集概述
配置信息
配置名称：default
- 特征：
- 名称：text
- 数据类型：string
- 数据分割：
- 名称：train
- 字节数：75695613009
- 样本数：458387942
- 下载大小：44914543914
- 数据集大小：75695613009
配置名称：nsp
- 特征：
- 名称：idx
- 数据类型：int64
- 名称：next_sentence_label
- 数据类型：int64
- 名称：sentence_a
- 数据类型：string
- 名称：sentence_b
- 数据类型：string
- 数据分割：
- 名称：train
- 字节数：31150074680
- 样本数：127086714
- 下载大小：19813418450
- 数据集大小：31150074680
数据文件路径
配置名称：default
- 数据文件：
- 分割：train
- 路径：data/train-*
配置名称：nsp
- 数据文件：
- 分割：train
- 路径：nsp/train-*
