seonglae/wikipedia_token

该数据集名为wikipedia_token，包含训练集，共有6,458,670个样本，总大小为19,998,333,901字节。数据集的特征包括id、title、text、token_length和text_length。此外，README文件还提供了关于token和text长度的详细统计信息，包括不同长度区间的数量及其所占百分比。

This dataset, named wikipedia_token, comprises a training split with 6,458,670 total samples and an overall size of 19,998,333,901 bytes. The features included in this dataset are id, title, text, token_length, and text_length. Additionally, the accompanying README file provides detailed statistics on token and text lengths, including the number of samples in various length intervals and their corresponding percentages.

原始信息汇总

数据集概述

数据集信息

• 配置名称: gpt-4
• 特征:
  • id: 字符串类型
  • title: 字符串类型
  • text: 字符串类型
  • token_length: 64位整数类型
  • text_length: 64位整数类型
• 分割:
  • 训练集:
    • 字节数: 19998333901
    • 样本数: 6458670
• 下载大小: 11604627673 字节
• 数据集大小: 19998333901 字节

数据文件

• 配置名称: gpt-4
• 数据文件:
  • 分割: 训练集
  • 路径: gpt-4/train-*

统计信息

• Token 计数:
  • ~1024: 5320881
  • 1024~2048: 693911
  • 2048~4096: 300935
  • 4096~8192: 106221
  • 8192~16384: 30611
  • 16384~32768: 4812
  • 32768~65536: 1253
  • 65536~128000: 46
  • 128000~: 0
• Text 计数:
  • 0~1024: 2751539
  • 1024~2048: 1310778
  • 2048~4096: 1179150
  • 4096~8192: 722101
  • 8192~16384: 329062
  • 16384~32768: 121237
  • 32768~65536: 36894
  • 65536~: 7909
• Token 百分比:
  • ~1024: 82.38%
  • 1024~2048: 10.74%
  • 2048~4096: 4.66%
  • 4096~8192: 1.64%
  • 8192~16384: 0.47%
  • 16384~32768: 0.07%
  • 32768~65536: 0.02%
  • 65536~128000: 0.00%
  • 128000~: 0.00%
• Text 百分比:
  • 0~1024: 42.60%
  • 1024~2048: 20.29%
  • 2048~4096: 18.26%
  • 4096~8192: 11.18%
  • 8192~16384: 5.09%
  • 16384~32768: 1.88%
  • 32768~65536: 0.57%
  • 65536~: 0.12%