cyrilzhang/wiki-bpe-32k
收藏Hugging Face2023-09-22 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/cyrilzhang/wiki-bpe-32k
下载链接
链接失效反馈官方服务：
资源简介：
---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
dataset_info:
features:
- name: input_ids
sequence: int32
splits:
- name: train
num_bytes: 21123228700
num_examples: 5152007
- name: test
num_bytes: 212326700
num_examples: 51787
download_size: 10331372531
dataset_size: 21335555400
---
# Dataset Card for "wiki-bpe-32k"
[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
提供机构：
cyrilzhang
原始信息汇总
数据集概述
配置
- 默认配置：
- 训练集：路径为
data/train-* - 测试集：路径为
data/test-*
- 训练集：路径为
数据集信息
-
特征：
- 名称：
input_ids - 序列类型：
int32
- 名称：
-
拆分：
- 训练集：
- 字节数：21,123,228,700
- 样本数：5,152,007
- 测试集：
- 字节数：212,326,700
- 样本数：51,787
- 训练集：
-
下载大小：10,331,372,531 字节
-
数据集大小：21,335,555,400 字节
