mfidabel/wikipedia_tokenized

---
dataset_info:
features:
- name: text_chunk
sequence: int64
- name: predicted_token
dtype: int64
splits:
- name: train
num_bytes: 2214065356
num_examples: 12872473
download_size: 253197513
dataset_size: 2214065356
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征项：
- 名称：text_chunk，为元素类型int64的序列特征
- 名称：predicted_token，数据类型为int64
数据集拆分：
- 拆分名称：train，占用字节数：2214065356，样本总数：12872473
下载大小：253197513，数据集总大小：2214065356
配置项：
- 配置名称：default，数据文件配置：
- 对应拆分：train，文件路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• text_chunk：序列类型，为int64。
• predicted_token：数据类型为int64。

数据集划分

• train：
  • 数据量：2214065356字节
  • 示例数：12872473

数据集大小

• 下载大小：253197513字节
• 数据集总大小：2214065356字节