BEE-spoke-data/falcon-refinedweb-100k_en-long

该数据集是从[falcon-refinedweb](https://huggingface.co/datasets/tiiuae/falcon-refinedweb)中抽取的一个样本，包含超过2048且少于16384个gpt4 tiktoken标记的文本，仅包含英语（通过fasttext-langdetect检测），共有10万个样本。

原始信息汇总

数据集概述

数据集信息

• 特征:

  • 名称: text
  • 数据类型: string

• 分割:

  • 名称: train
  • 字节数: 1748631587.0
  • 样本数: 100000

• 下载大小: 1035546649

• 数据集大小: 1748631587.0

配置

• 配置名称: default
• 数据文件:
  • 分割: train
  • 路径: data/train-*

来源数据集

• 来源数据集: tiiuae/falcon-refinedweb

语言

• 语言: en

许可证

• 许可证: odc-by

任务类别

• 任务类别: text-generation

数据集描述

• 样本数量: 100k
• token长度: 超过2048且少于16384 gpt4 tiktoken tokens
• 语言: 仅限英语（通过fasttext-langdetect检测）