cyrilzhang/wiki-bpe-64k

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
dataset_info:
features:
- name: input_ids
sequence: int32
splits:
- name: train
num_bytes: 20157432700
num_examples: 4916447
- name: test
num_bytes: 202663000
num_examples: 49430
download_size: 8837145740
dataset_size: 20360095700
---
# Dataset Card for "wiki-bpe-64k"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集配置:
- 配置名称: default
数据文件:
- 数据集拆分: 训练集（train）
文件路径: data/train-*
- 数据集拆分: 测试集（test）
文件路径: data/test-*
数据集元信息:
数据特征:
- 特征名称: 输入ID（input_ids）
序列数据类型: int32
数据集拆分统计:
- 拆分名称: train
字节占用量: 20157432700
样本总数: 4916447
- 拆分名称: test
字节占用量: 202663000
样本总数: 49430
下载总大小: 8837145740
数据集总大小: 20360095700
---
# 「wiki-bpe-64k」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

配置

• 默认配置名称: default
• 数据文件:
  • 训练集路径: data/train-*
  • 测试集路径: data/test-*

数据集信息

• 特征:
  • 名称: input_ids
  • 类型: int32

数据分割

• 训练集:
  • 字节数: 20157432700
  • 样本数: 4916447
• 测试集:
  • 字节数: 202663000
  • 样本数: 49430

数据集大小

• 下载大小: 8837145740
• 数据集大小: 20360095700