canTooDdev/walt
收藏数据集卡片：Alpaca-Cleaned
数据集描述
概述
Alpaca-Cleaned 是斯坦福大学发布的原始 Alpaca 数据集的清理版本。该数据集解决了原始版本中存在的多个问题，包括幻觉、合并指令、空输出、缺少代码示例、生成图像指令、N/A 输出、输入字段不一致、错误答案、非理性/不清晰指令以及多余的转义和控制字符。
原始 Alpaca 数据集概述
Alpaca 是一个包含 52,000 条指令和演示的数据集，由 OpenAI 的 text-davinci-003 引擎生成。该数据集可用于进行语言模型的指令微调，使其更好地遵循指令。
数据集结构
数据实例
一个 "train" 数据实例的示例如下： json { "instruction": "Create a classification task by clustering the given list of items.", "input": "Apples, oranges, bananas, strawberries, pineapples", "output": "Class 1: Apples, Oranges Class 2: Bananas, Strawberries Class 3: Pineapples", "text": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.
Instruction:
Create a classification task by clustering the given list of items.
Input:
Apples, oranges, bananas, strawberries, pineapples
Response:
Class 1: Apples, Oranges Class 2: Bananas, Strawberries Class 3: Pineapples", }
数据字段
instruction: 描述模型应执行的任务。52K 条指令中的每一条都是唯一的。input: 任务的可选上下文或输入。例如，当指令是“总结以下文章”时，输入就是文章。大约 40% 的示例有输入。output:text-davinci-003生成的指令答案。text: 使用作者用于微调模型的 prompt 模板 格式化的instruction、input和output。
数据分割
| train | |
|---|---|
| alpaca | 52002 |
数据集创建
数据集来源
数据集由 OpenAI 的 text-davinci-003 引擎生成，基于 Self-Instruct 框架 的数据生成管道，并进行了以下修改：
- 使用
text-davinci-003引擎生成指令数据，而不是davinci。 - 编写了一个新的提示，明确要求
text-davinci-003生成指令。 - 使用更积极的批量解码，即一次生成 20 条指令，显著降低了数据生成成本。
- 简化了数据生成管道，放弃了分类和非分类指令之间的区别。
- 每条指令只生成一个实例，而不是 Self-Instruct 中的 2 到 3 个实例。
使用数据集的注意事项
数据集的社会影响
该数据集的发布旨在使学术界能够进行受控的科学研究，以改进指令遵循语言模型。尽管存在一定的风险，但作者认为研究社区的利益超过了这些风险。
数据集的已知限制
alpaca 数据由语言模型生成，不可避免地包含一些错误或偏见。建议用户在使用此数据时保持谨慎，并提出新的方法来过滤或改进这些不完美之处。
许可证信息
该数据集在 Creative Commons NonCommercial (CC BY-NC 4.0) 许可证下提供。
引用信息
@misc{alpaca, author = {Rohan Taori and Ishaan Gulrajani and Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto }, title = {Stanford Alpaca: An Instruction-following LLaMA model}, year = {2023}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {url{https://github.com/tatsu-lab/stanford_alpaca}}, }
