Facundo-DiazPWT/Proyecto

Alpaca-Cleaned是一个经过清理的Alpaca数据集版本，专门用于改进预训练语言模型遵循指令的能力。该数据集解决了原始数据集中的多个问题，包括幻觉、合并指令、空输出等，并包含52,000个独特的英语指令。

原始信息汇总

数据集概述

数据集名称: Alpaca-Cleaned

数据集描述: Alpaca-Cleaned 是斯坦福大学发布的原始 Alpaca 数据集的清理版本。该数据集解决了原始数据集中的多个问题，包括幻觉、合并的指令、空输出、空代码示例、生成图像的指令、N/A 输出、输入字段的不一致使用、错误答案以及非逻辑/不清晰的指令。

数据集问题及解决方案:

1. 幻觉: 原始数据集中的许多指令引用互联网数据，导致 GPT3 产生幻觉答案。清理版本已修复此问题。
2. 合并的指令: 原始数据集中存在多个指令合并的情况，已进行分离。
3. 空输出: 原始数据集中部分条目输出为空，已补充或删除。
4. 空代码示例: 原始数据集中缺少代码示例，已进行补充。
5. 生成图像的指令: 原始数据集中包含无法实现的图像生成指令，已移除。
6. N/A 输出: 原始数据集中部分代码片段输出为 N/A，已进行处理。
7. 输入字段的不一致使用: 原始数据集中输入字段使用不一致，已统一规范。
8. 错误答案: 原始数据集中约 80% 的数学问题答案错误，已更正。
9. 非逻辑/不清晰的指令: 原始数据集中存在不清晰或非逻辑的指令，已尝试澄清或重写。

数据集结构:

• 数据实例: 包含 instruction, input, output 和 text 四个字段。
• 数据字段:
  • instruction: 描述模型应执行的任务。
  • input: 任务的上下文或输入，约 40% 的示例包含此字段。
  • output: 由 text-davinci-003 生成的指令答案。
  • text: 使用作者提供的模板格式化的 instruction, input 和 output。

数据集创建:

• 数据生成引擎: 使用 OpenAI 的 text-davinci-003 引擎。
• 数据生成方法: 基于 Self-Instruct 框架，进行了多项修改，包括使用新的提示、更激进的批量解码等。

数据集用途:

• 用于训练预训练语言模型遵循指令。

语言:

• 数据集语言为英语。

许可证:

• 数据集遵循 Creative Commons NonCommercial (CC BY-NC 4.0) 许可证。