BEE-spoke-data/fineweb-edu-10BT-mincols

这是`HuggingFaceFW/fineweb-edu`的10BT-sample配置，为了提高效率，移除了大部分冗余列。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • text: 类型为字符串
  • id: 类型为字符串
  • url: 类型为字符串
• 分割:
  • train: 包含9,672,101个样本，总字节数为47,250,994,990字节
• 下载大小: 28,314,342,419字节
• 数据集大小: 47,250,994,990字节

配置

• 配置名称: default
• 数据文件:
  • train: 路径为data/train-*

来源

• 来源数据集: HuggingFaceFW/fineweb-edu

许可

• 许可证: odc-by

任务类别

• 任务类别: 文本生成

语言

• 语言: 英语

标签

• 标签: 10BT

大小类别

• 大小类别: 1M<n<10M

令牌统计

• 总令牌数: 9,683.59 M 令牌
• 令牌计数统计:
  • 计数: 9,672,101
  • 平均值: 1,001.188
  • 标准差: 1,834.986
  • 最小值: 38
  • 25% 分位数: 338
  • 50% 分位数: 609
  • 75% 分位数: 1,054
  • 最大值: 164,967