sasanikrali/halfTurkish

HalfTurkish数据集是原始Alpaca数据集的清理版本，修复了包括幻觉、合并指令、空输出、空代码示例、生成图像的指令、N/A输出、不一致的输入字段、错误答案、非明确指令以及多余的转义和控制字符等问题。该数据集用于指令微调预训练语言模型，数据为英文，包含52,000个指令和演示。

原始信息汇总

数据集概述

名称: HalfTurkish

描述: HalfTurkish 是斯坦福大学发布的 Alpaca 数据集的清理版本。该数据集主要用于语言模型的指令微调，以提高模型遵循指令的能力。

语言: 英语 (BCP-47 en)

许可: Creative Commons NonCommercial (CC BY-NC 4.0)

数据集问题与修复

1. 幻觉问题: 原始数据集中许多指令引用互联网数据，导致GPT3产生幻觉答案。此版本已修复此类问题。
2. 合并指令: 原始数据集中的多个指令被错误合并。此版本已分离这些指令。
3. 空输出: 原始数据集中存在空输出。此版本已填充或移除这些条目。
4. 空代码示例: 原始数据集缺少代码示例。此版本已添加缺失的代码示例。
5. 图像生成指令: 原始数据集中包含无法实现的图像生成指令。此版本已移除这些指令。
6. N/A 输出: 原始数据集中存在N/A输出。此版本已修复。
7. 输入字段不一致: 原始数据集在应为空时使用了不一致的输入字段。此版本已统一处理。
8. 错误答案: 原始数据集中的数学问题答案约80%错误。此版本已更正这些答案。
9. 非逻辑/不清晰指令: 原始数据集中存在非逻辑或不清晰的指令。此版本尝试澄清或重写这些指令。
10. 多余转义和控制字符: 原始数据集中存在多余转义和控制字符。此版本已清理。

数据集结构

数据实例:

• instruction: 描述模型应执行的任务。
• input: 任务的上下文或输入，约40%的实例包含此字段。
• output: 由 text-davinci-003 生成的指令答案。
• text: 使用作者提供的模板格式化的 instruction, input, 和 output。

数据分割:

• train: 52002条记录。

数据集创建

数据生成:

• 使用 text-davinci-003 引擎生成指令数据。
• 采用新的提示模板，简化数据生成流程，并增加批量解码以降低成本。

初步研究:

• 发现生成的52K数据比Self-Instruct发布的数据更加多样化。

使用考虑

社会影响:

• 发布此数据集旨在促进学术界对指令遵循语言模型的科学研究，同时认识到存在风险，如模型可能被用于有害目的。
• 实施了内容过滤和输出水印等风险缓解策略。

已知限制:

• 数据由语言模型生成，可能包含错误或偏见。建议用户谨慎使用，并探索改进数据质量的方法。