seonglae/wiki_dpr_token

该数据集名为wiki_dpr_token，包含id、title、text、token_length和text_length等字段。数据集分为一个训练集，包含21015300个样本，总大小为14112430156字节。下载大小为7635924562字节。数据集的分布情况包括token长度、文本长度、token分布和文本分布的统计信息。

原始信息汇总

数据集概述

数据集信息

• 配置名称: gpt-4
• 特征:
  • id: 字符串类型
  • title: 字符串类型
  • text: 字符串类型
  • token_length: 64位整数类型
  • text_length: 64位整数类型
• 分割:
  • 训练集:
    • 字节数: 14112430156
    • 样本数: 21015300
• 下载大小: 7635924562
• 数据集大小: 14112430156
• 配置:
  • 配置名称: gpt-4
  • 数据文件:
    • 分割: 训练集
    • 路径: gpt-4/train-*

分布情况

• Token 长度分布:

  • ~128: 2625007
  • 128~256: 18370607
  • 256~512: 19066
  • 512~1024: 571
  • 1024~2048: 47
  • 2048~4096: 2
  • 4096~8192: 0
  • 8192~16384: 0
  • 16384~32768: 0
  • 32768~65536: 0
  • 65536~128000: 0
  • 128000~: 0

• Text 长度分布:

  • ~512: 86519
  • 512~1024: 20927180
  • 1024~2048: 1557
  • 2048~4096: 43
  • 4096~8192: 1
  • 8192~16384: 0
  • 16384~32768: 0
  • 32768~65536: 0
  • 65536~: 0

• Token 分布比例:

  • ~128: 12.49%
  • 128~256: 87.42%
  • 256~512: 0.09%
  • 512~1024: 0.00%
  • 1024~2048: 0.00%
  • 2048~4096: 0.00%
  • 4096~8192: 0.00%
  • 8192~16384: 0.00%
  • 16384~32768: 0.00%
  • 32768~65536: 0.00%
  • 65536~128000: 0.00%
  • 128000~: 0.00%

• Text 分布比例:

  • ~512: 0.41%
  • 512~1024: 99.58%
  • 1024~2048: 0.01%
  • 2048~4096: 0.00%
  • 4096~8192: 0.00%
  • 8192~16384: 0.00%
  • 16384~32768: 0.00%
  • 32768~65536: 0.00%
  • 65536~: 0.00%