BEE-spoke-data/falcon-refinedweb-100k_en_med-sample

该数据集是从tiiuae/falcon-refinedweb中抽取的样本，包含10万条英文文本，每条文本的token数量在512到8192之间。数据集主要用于文本生成任务，并提供了两种配置：默认配置和包含文本嵌入的配置。

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 许可证: odc-by
• 数据集大小分类: 10K<n<100K
• 源数据集: tiiuae/falcon-refinedweb
• 任务分类: 文本生成

数据集配置

配置: default

• 特征:
  • 名称: text
  • 数据类型: string
• 分割:
  • 名称: train
  • 字节数: 485240640
  • 样本数: 100000
• 下载大小: 299772551
• 数据集大小: 485240640
• 数据文件:
  • 分割: train
  • 路径: data/train-*

配置: embeddings-text-nomic_text_v1

• 特征:
  • 名称: text
  • 数据类型: string
  • 名称: text-embedding
  • 序列类型: float64
• 分割:
  • 名称: train
  • 字节数: 1100040640
  • 样本数: 100000
• 下载大小: 802872607
• 数据集大小: 1100040640
• 数据文件:
  • 分割: train
  • 路径: embeddings-text-nomic_text_v1/train-*

样本描述

• 样本数量: 100k
• 令牌范围: 512至8192 llama2 令牌
• 语言: 仅英语（通过fasttext-langdetect检测）