u-10bei/jawiki-20240301-tokenizer

---
license: cc-by-sa-4.0
dataset_info:
features:
- name: text
dtype: string
splits:
- name: train
num_bytes: 6907182533
num_examples: 31679432
download_size: 2762154533
dataset_size: 6907182533
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

许可证：CC BY-SA 4.0（知识共享署名-相同方式共享4.0协议）
数据集信息：
特征项：
- 名称：text，数据类型：字符串（string）
数据集划分：
- 划分名称：训练集（train），字节大小：6907182533，样本总数：31679432
下载大小：2762154533
数据集存储总大小：6907182533
配置项：
- 配置名称：默认（default），数据文件：
- 对应划分：训练集（train），文件路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• 名称: text
• 数据类型: string

数据集划分

• 训练集
  • 字节数: 6907182533
  • 样本数: 31679432

数据集大小

• 下载大小: 2762154533
• 总大小: 6907182533

配置信息

• 配置名称: default
• 数据文件路径:
  • 划分: train
  • 路径: data/train-*