ZHEZIXI/llama3weitiao

Alpaca-Cleaned数据集是原始Alpaca数据集的清理版本，修复了原始数据集中存在的多个问题，如幻觉、合并指令、空输出、空代码示例、生成图像指令、N/A输出、不一致的输入字段、错误答案、非清晰指令以及多余的转义和控制字符。数据集包含52,000条指令和演示，用于指令微调语言模型，使其更好地遵循指令。数据集为英文，结构包括指令、输入、输出和格式化文本字段。

原始信息汇总

数据集概述

数据集名称: Alpaca-Cleaned

数据集描述: Alpaca-Cleaned 是斯坦福大学发布的原始 Alpaca 数据集的清理版本。该版本解决了原始数据集中的多个问题，包括幻觉现象、合并指令、空输出、空代码示例、生成图像的指令、N/A 输出、输入字段不一致、错误答案以及指令不清晰或无意义等问题。

数据集来源:

• 原始数据集由 OpenAI 的 text-davinci-003 引擎生成，包含 52,000 条指令和演示。
• 清理后的数据集解决了原始数据集中的多项问题，提高了数据质量。

数据集结构:

• 数据实例: 每个实例包含 instruction（指令）、input（可选输入）、output（输出）和 text（格式化的指令、输入和输出）。
• 数据字段:
  • instruction: 描述模型应执行的任务。
  • input: 提供任务的上下文或输入。
  • output: 由 text-davinci-003 生成的指令答案。
  • text: 使用作者提供的模板格式化的指令、输入和输出。

数据集用途:

• 用于指令微调预训练语言模型，提高模型遵循指令的能力。

语言:

• 数据集语言为英语（BCP-47 en）。

许可证:

• 数据集根据 Creative Commons NonCommercial (CC BY-NC 4.0) 许可发布。

数据集创建注意事项:

• 数据由语言模型生成，可能包含错误或偏见。建议用户谨慎使用，并提出新的方法来过滤或改进这些不完美之处。

数据集问题修复详情

1. 幻觉现象: 原始数据集中许多指令引用互联网数据，导致 GPT3 产生幻觉答案。
2. 合并指令: 原始数据集中存在多个指令被合并的情况。
3. 空输出: 原始数据集中部分条目输出为空。
4. 空代码示例: 原始数据集中描述缺少代码示例，难以理解代码意图。
5. 生成图像的指令: 原始数据集中包含无法实现的生成图像指令。
6. N/A 输出: 原始数据集中部分代码片段输出标记为 N/A。
7. 输入字段不一致: 原始数据集中输入字段的使用不一致。
8. 错误答案: 原始数据集中约 80% 的数学问题答案估计错误。
9. 非理性/不清晰指令: 原始数据集中存在不清晰或无意义的指令。
10. 多余转义和控制字符: 原始数据集中包含多余转义和控制字符。