seonglae/wikipedia-256-token

这是一个名为Wikidedia passages的数据集，专门用于开放域问答（ODQA）检索器。数据集中的每个段落包含大约256个token，这些token是通过gpt-4的tokenizer使用tiktoken进行分割的。文件中还提供了关于token和文本长度的详细统计信息，包括不同长度区间的数量及其所占百分比。

原始信息汇总

数据集概述

数据集信息

• 配置名称: gpt-4
• 特征:
  • id: 字符串类型
  • title: 字符串类型
  • text: 字符串类型
  • token_length: 64位整数类型
  • text_length: 64位整数类型
• 分割:
  • 训练集:
    • 字节数: 23230980331
    • 样本数: 21462234
• 下载大小: 12219882718
• 数据集大小: 23230980331

数据文件

• 配置名称: gpt-4
• 数据文件:
  • 分割: 训练集
  • 路径: gpt-4/train-*

数据统计

• Token 计数:

  • ~128: 1415068
  • 128~256: 1290011
  • 256~512: 18756476
  • 512~1024: 667
  • 1024~2048: 12
  • 2048~4096: 0
  • 4096~8192: 0
  • 8192~16384: 0
  • 16384~32768: 0
  • 32768~65536: 0
  • 65536~128000: 0
  • 128000~: 0

• Text 计数:

  • ~512: 1556876
  • 512~1024: 6074975
  • 1024~2048: 13830329
  • 2048~4096: 49
  • 4096~8192: 2
  • 8192~16384: 3
  • 16384~32768: 0
  • 32768~65536: 0
  • 65536~: 0

• Token 百分比:

  • ~128: 6.59%
  • 128~256: 6.01%
  • 256~512: 87.39%
  • 512~1024: 0.00%
  • 1024~2048: 0.00%
  • 2048~4096: 0.00%
  • 4096~8192: 0.00%
  • 8192~16384: 0.00%
  • 16384~32768: 0.00%
  • 32768~65536: 0.00%
  • 65536~128000: 0.00%
  • 128000~: 0.00%

• Text 百分比:

  • ~512: 7.25%
  • 512~1024: 28.31%
  • 1024~2048: 64.44%
  • 2048~4096: 0.00%
  • 4096~8192: 0.00%
  • 8192~16384: 0.00%
  • 16384~32768: 0.00%
  • 32768~65536: 0.00%
  • 65536~: 0.00%