dvruette/openwebtext-tokenized-4k
收藏Hugging Face2025-12-19 更新2026-03-29 收录
下载链接：
https://hf-mirror.com/datasets/dvruette/openwebtext-tokenized-4k
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: tokens
sequence: int64
splits:
- name: train
num_bytes: 91997587692
num_examples: 7913769
- name: validation
num_bytes: 1163868088
num_examples: 100000
download_size: 17499918408
dataset_size: 93161455780
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---
数据集信息：
特征：
- 字段名称：令牌（Token），类型为64位整数序列
数据集划分：
- 划分名称：训练集（train），字节占用量：91997587692，样本总数：7913769
- 划分名称：验证集（validation），字节占用量：1163868088，样本总数：100000
下载总大小：17499918408，数据集总占用大小：93161455780
配置项：
- 配置名称：默认（default），数据文件配置：
- 对应训练集划分，路径：data/train-*
- 对应验证集划分，路径：data/validation-*
提供机构：
dvruette
