disham993/alpaca-train-validation-test-split

Alpaca数据集包含52,000条由OpenAI的`text-davinci-003`引擎生成的指令和演示，用于对语言模型进行指令微调，使其更好地遵循指令。数据集的生成过程基于Self-Instruct框架，并进行了多项改进，如使用新的提示、更激进的批量解码等。数据集包含训练、验证和测试集，每个数据实例包含指令、输入、输出和格式化文本。数据集的语言为英语，且遵循CC BY-NC 4.0许可。

原始信息汇总

数据集概述

名称: Alpaca

语言: 英语 (BCP-47 en)

许可: Creative Commons NonCommercial (CC BY-NC 4.0)

大小: 10K<n<100K

任务类别: 文本生成

标签: 指令微调

数据集内容

数据实例:

• 字段: instruction, input, output, text
• 描述:
  • instruction: 描述模型应执行的任务，每个任务都是唯一的。
  • input: 任务的上下文或输入，约40%的实例包含此字段。
  • output: text-davinci-003生成的任务答案。
  • text: 包含instruction, input, output的格式化文本，用于模型微调。

数据分割:

• 训练集: 36401个实例，33409057字节
• 验证集: 7801个实例，7159137字节
• 测试集: 7800个实例，7196544字节

数据集创建

生成方法:

• 使用text-davinci-003引擎生成指令数据。
• 采用新的提示模板和更激进的批量解码策略，降低数据生成成本。

数据多样性:

• 初步研究发现，生成的52K数据比Self-Instruct的数据更具多样性。

使用考虑

社会影响:

• 数据集的发布旨在促进学术界对指令遵循语言模型的科学研究，但也可能被不良行为者利用。
• 实施了内容过滤和输出水印等风险缓解策略。

已知限制:

• 数据由语言模型生成，可能包含错误或偏见，建议谨慎使用并探索改进方法。