aaaalon/alpaca-cleand

Alpaca-Cleaned是原始Alpaca数据集的清理版本，修复了原始数据集中存在的多个问题，如幻觉、合并指令、空输出、空代码示例、生成图像的指令、N/A输出、不一致的输入字段、错误答案、非清晰指令以及多余的转义和控制字符。该数据集用于指令微调预训练语言模型，数据为英文，包含52,000个指令和演示。

原始信息汇总

数据集概述

数据集名称: Alpaca-Cleaned

原始数据来源: Stanford发布的Alpaca数据集

数据集描述: Alpaca-Cleaned是对原始Alpaca数据集的清理版本，解决了原始数据集中的多个问题，包括幻觉、合并的指令、空输出、空代码示例、生成图像的指令、N/A输出、不一致的输入字段、错误答案以及非逻辑/不清晰的指令。

数据集问题及解决方案:

1. 幻觉: 原始数据集中的许多指令引用了互联网上的数据，导致GPT3产生幻觉答案。清理后的数据集移除了这些引用。
2. 合并的指令: 原始数据集中存在多个指令合并的情况，新数据集已将这些指令分开。
3. 空输出: 原始数据集中的某些条目输出为空，新数据集已填充或移除这些条目。
4. 空代码示例: 原始数据集中的描述缺少代码示例，新数据集已补充或移除这些描述。
5. 生成图像的指令: 原始数据集中包含生成图像的指令，新数据集已移除这些指令。
6. N/A输出: 原始数据集中的某些代码片段输出为N/A，新数据集已处理这些输出。
7. 不一致的输入字段: 原始数据集中的输入字段使用不一致，新数据集已统一这些字段的使用。
8. 错误答案: 原始数据集中的某些指令/问题答案错误，新数据集已更正这些答案。
9. 非逻辑/不清晰的指令: 原始数据集中的许多指令不清晰或非逻辑，新数据集尝试澄清或重写这些指令。

数据集结构:

• 数据实例: 每个实例包含instruction, input, output, text四个字段。
• 数据字段:
  • instruction: 描述模型应执行的任务。
  • input: 任务的上下文或输入，约40%的实例包含此字段。
  • output: 由text-davinci-003生成的指令答案。
  • text: 使用作者提供的模板格式化的instruction, input, output。

数据集语言: 英语 (BCP-47 en)

许可证: Creative Commons NonCommercial (CC BY-NC 4.0)

搜集汇总

背景与挑战

背景概述

Alpaca-Cleaned是一个经过清理的指令数据集，包含52,000条唯一指令，用于训练语言模型更好地遵循指令。数据集解决了原始数据中的多种问题，如错误答案和不清晰指令，适用于文本生成任务，主要面向英语用户。