pszemraj/fleece2instructions

该数据集是基于`tatsu-lab/alpaca`数据集的分割和过滤版本，用于训练文本到文本生成模型。数据集被分为训练集、测试集和验证集，目标是生成与任意文本对应的指令提示。数据集中的`output`列被用作模型的输入，而`instruction`列被用作模型的输出。此外，原始数据集中使用了`input`列的行以及`output`列中少于8个单词的行被过滤掉了。数据集包含23,167行训练数据，2,822行测试数据和2,866行验证数据。

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-4.0
• 来源数据集: tatsu-lab/alpaca
• 任务类别:
  • text-generation
  • text2text-generation
• 语言: en
• 标签:
  • alpaca
  • instruction generation
• 大小类别: 10K<n<100K

数据集结构

• 训练集: 23167条记录
• 测试集: 2822条记录
• 验证集: 2866条记录
• 特征:
  • instruction
  • output

数据处理

• 原始数据集中使用input列的行以及output列少于8个单词的行被删除。

输出列的令牌计数

• 提供了t5和bart-base模型在output列的令牌分布图。