Q-bert/tokenized-wikipedia

---
license: mit
dataset_info:
features:
- name: id
dtype: int64
- name: text
dtype: string
- name: title
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 6518515310
num_examples: 524601
download_size: 1183778649
dataset_size: 6518515310
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

原始信息汇总

数据集概述

许可证

• MIT许可证

数据集信息

• 特征：

  • id：数据类型为int64
  • text：数据类型为string
  • title：数据类型为string
  • input_ids：序列类型为int32
  • attention_mask：序列类型为int8

• 分割：

  • train：包含6518515310字节，524601个样本

数据集大小

• 下载大小：1183778649字节
• 数据集大小：6518515310字节

配置

• 默认配置：
  • 数据文件路径：data/train-*