Maxmartys/tokenized-wiki
收藏Hugging Face2026-03-16 更新2026-03-29 收录
下载链接：
https://hf-mirror.com/datasets/Maxmartys/tokenized-wiki
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: input_ids
list: int32
- name: attention_mask
list: int8
splits:
- name: train
num_bytes: 10970421737
num_examples: 6407814
download_size: 3704423080
dataset_size: 10970421737
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
数据集信息：
特征项：
- 名称：id，数据类型：字符串
- 名称：url，数据类型：字符串
- 名称：title，数据类型：字符串
- 名称：输入Token标识序列（input_ids），数据类型：int32类型列表
- 名称：注意力掩码（attention_mask），数据类型：int8类型列表
数据集划分：
- 划分名称：训练集（train），占用字节数：10970421737，样本总数：6407814
下载总大小：3704423080 字节，数据集存储总大小：10970421737 字节
数据集配置：
- 配置名称：默认配置（default），数据文件配置：
- 对应训练划分的文件路径为：data/train-*
提供机构：
Maxmartys
