aaaalon/alpaca_data_clean

Alpaca-Cleaned数据集是斯坦福大学发布的原始Alpaca数据集的清理版本。该数据集解决了原始数据集中存在的多个问题，包括幻觉、合并指令、空输出、空代码示例、生成图像的指令、N/A输出、输入字段不一致、错误答案、非明确指令以及多余的转义和控制字符。原始Alpaca数据集包含52,000条指令和演示，由OpenAI的`text-davinci-003`引擎生成，用于指令微调语言模型，使其更好地遵循指令。Alpaca-Cleaned数据集通过修复这些问题，提供了一个更干净、更可靠的指令数据集，适用于文本生成任务。

原始信息汇总

数据集概述

数据集名称： Alpaca-Cleaned

数据集描述： Alpaca-Cleaned 是斯坦福大学发布的原始 Alpaca 数据集的清理版本。该版本解决了原始数据集中的多个问题，包括幻觉（hallucinations）、合并指令（merged instructions）、空输出（empty outputs）、空代码示例（empty code examples）、图像生成指令（instructions to generate images）、N/A 输出（N/A outputs）、输入字段不一致（inconsistent input field）、错误答案（wrong answers）、指令不清晰（non-sensical/unclear instructions）和多余转义及控制字符（extraneous escape and control characters）。

数据集用途： 用于指令微调（instruction-finetuning），旨在提高语言模型遵循指令的能力。

语言： 英语（BCP-47 en）

许可： 该数据集遵循 Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0)。

数据集结构

数据实例： json { "instruction": "描述任务的指令", "input": "提供任务的上下文或输入", "output": "由 text-davinci-003 生成的任务答案", "text": "包含 instruction、input 和 output 的格式化文本，用于模型微调" }

数据字段：

• instruction: 描述模型应执行的任务，每个指令都是唯一的。
• input: 任务的上下文或输入，约 40% 的示例包含输入。
• output: 由 text-davinci-003 生成的答案。
• text: 包含 instruction、input 和 output 的格式化文本，用于模型微调。

数据分割：

• train: 52002 个实例

数据集创建

原始数据集概述：

• Alpaca 是一个包含 52,000 个指令和演示的数据集，由 OpenAI 的 text-davinci-003 引擎生成。
• 该数据集用于指令训练预训练语言模型，通过修改数据生成流程和使用更高效的批量解码策略，显著降低了数据生成的成本。

数据集的改进：

• 清理了原始数据集中的多个问题，以提高数据质量和可用性。

使用考虑

社会影响：

• 数据集的发布旨在促进学术界对指令遵循语言模型的科学研究，但也存在风险，如可能被不良行为者用于制造有害模型。
• 已实施内容过滤和输出水印等风险缓解策略，以减少潜在风险。

已知限制：

• 数据由语言模型生成，可能包含错误或偏见，建议用户谨慎使用并探索改进方法。