Vezora/Puffin-Alpaca

Puffin数据集由超过2000个GPT-4与真实人类之间的多轮对话组成，平均每个对话的上下文长度超过1000个token，平均每个对话的轮次超过10次。数据集还包括了手动筛选的CamelAI/Physics、CamelAI/Math、CamelAI/Biology和CamelAI/Chemistry子集，所有响应均由GPT-4生成。数据集经过严格清理，去除了明显的AI道德化行为，并仅保留了GPT-4的示例。该数据集特别适用于训练LORA适配器，以帮助模型更准确地模拟GPT-4的输出。

The Puffin dataset comprises over 2000 multi-turn dialogues between GPT-4 and real humans, with each dialogue averaging over 1000 tokens of context length and more than 10 turns. The dataset also includes manually filtered subsets of CamelAI/Physics, CamelAI/Math, CamelAI/Biology and CamelAI/Chemistry, where all responses are generated by GPT-4. The dataset has undergone rigorous cleaning to eliminate obvious AI moralizing behaviors and only retains GPT-4-generated examples. This dataset is particularly well-suited for training LoRA adapters to help models more accurately simulate GPT-4's output.

原始信息汇总

Puffin 数据集概述

数据集特点

• 数据集由 GPT-4 与真实人类之间的多轮对话组成。
• 包含超过 2,000 个多轮对话。
• 平均每个对话的上下文长度超过 1,000 个令牌。
• 平均每个对话的轮数超过 10 轮。
• 数据集中的对话经过精心筛选，排除了 AI 道德化或相关行为的内容。
• 数据集严格筛选自 ShareGPT 数据集中的 GPT-4 示例。

数据集格式

• 数据集已转换为 Alpaca 格式，输入部分为空白。
• 每个问题不超过 2048 个令牌。

训练建议

• 推荐使用批量大小为 4-10，截断长度为 ≤ 2048 以避免 VRAM 问题。
• 使用 4 位加载、标准浮点数和 bf16 格式。

LORA 用户建议

• 可针对以下模块使用 LORA："gate_proj", "down_proj", "up_proj", "q_proj", "v_proj", "k_proj", "o_proj"。
• 大多数 LORA 模型使用："q_proj", "v_proj", "k_proj", "o_proj"。
• Platypus 使用："gate_proj", "down_proj", "up_proj"。

超参数

• Platypus 使用的超参数：
  • 批量大小：16
  • 微批量大小：1
  • 训练周期数：1
  • 学习率：4e-4 / 3e-4
  • 截断长度：4096
  • LORA 秩：16
  • LORA 阿尔法：16
  • LORA 丢弃率：0.05
  • LORA 目标模块："gate_proj", "down_proj", "up_proj"
  • 训练输入：False
  • 添加 EOS 令牌：False
  • 按长度分组：False
  • 提示模板：alpaca
  • 学习率调度器：cosine
  • 预热步数：100

未来计划

• 计划利用领域专家志愿者的帮助，消除训练数据中的数学/可验证错误答案。

搜集汇总

数据集介绍

构建方式

Vezora/Puffin-Alpaca 数据集是在原始 Puffin 数据集基础上经过格式转换与精细清洗后构建而成的。原始 Puffin 数据集源自超过 2,000 轮真实人类与 GPT-4 之间的多轮对话，平均每段对话的上下文长度超过 1,000 个 token，平均对话轮次超过 10 轮。构建过程中，研究团队从 ShareGPT 数据集中严格筛选出仅由 GPT-4 生成的对话示例，并借助 OpenChat 团队的标注工作完成了 GPT-4 与 GPT-3.5 示例的区分。此外，数据集还融入了来自 CamelAI 在物理、数学、生物学和化学领域的手动精选子集，所有回复均由 GPT-4 合成。为提升数据质量，团队剔除了包含“As an AI language model”等明显 AI 道德化表述的实例，并联合 NousResearch 等机构优化了过滤流程，最终将数据统一转换为 Alpaca 格式，且输入部分留空，便于直接用于指令微调。

使用方法

使用该数据集进行模型微调时，推荐采用 LoRA 方法，并可根据训练目标选择不同的目标模块。针对 Alpaca LoRA 用户，可指定模块包括 gate_proj、down_proj、up_proj、q_proj、v_proj、k_proj 和 o_proj，其中常用组合为 q_proj、v_proj、k_proj、o_proj，而 Platypus 方法则使用 gate_proj、down_proj、up_proj。为避免覆盖预训练模型已学能力，建议选择与原始训练不同的目标模块。推荐超参数包括批次大小 4–10、截断长度 ≤2,048、学习率 4e-4（13B 模型）或 3e-4（70B 模型）、LoRA 秩 16、Alpha 16、dropout 0.05，并采用余弦学习率调度器与 100 步预热。训练时建议加载 4 位量化、Normal Float 和 bf16 精度，以适配单张 24 GB 显存显卡。若使用 Oobabooga 或 Alpaca LoRA 框架，需相应修改配置文件以指定目标模块。

背景与挑战

背景概述

Vezora/Puffin-Alpaca数据集是对原始Puffin数据集的精炼与再整理，后者由LDJnr于2023年主导创建，主要依托NousResearch等机构的协作，旨在构建高质量的人机对话训练资源。该数据集的核心研究问题在于如何通过真实人类与GPT-4的多轮交互数据，提升大语言模型的行为准确性与输出自然度，从而更逼真地模拟GPT-4的应答风格。数据集包含超过2000段多轮对话，平均每段对话超过10轮，上下文长度逾1000个token，并经过严格清洗以剔除诸如“As an AI language model”等过度道德化的表达。通过将原始对话转换为Alpaca格式并留空输入字段，该数据集特别适合用于低秩适配（LoRA）微调，对推动指令微调与对话系统的发展具有显著影响力。

当前挑战

该数据集所面临的挑战首先体现在领域问题的解决层面：如何从混杂的ShareGPT数据中精准筛选出GPT-4生成的实例，而非GPT-3.5输出，这依赖于OpenChat团队的标注工作，但标注本身存在主观性与误差风险。其次，构建过程中需应对多源数据整合的复杂性，包括从CamelAI等子集中手动筛选并统一用GPT-4合成响应，同时过滤掉数学或科学领域中的错误答案，这要求领域专家的介入以验证准确性。此外，数据集的清洗步骤如剔除AI道德化言论，需平衡自然性与合规性，避免过度过滤导致信息损失。训练阶段还面临LoRA模块选择的不确定性，不同目标模块（如gate_proj、down_proj等）对模型能力迁移的影响尚未明确，且需在有限显存（如24GB）内优化批量大小与截断长度，以防止资源溢出，这些均构成技术上的显著障碍。

常用场景

经典使用场景

Vezora/Puffin-Alpaca数据集的核心经典用途在于为大型语言模型提供高质量的指令微调数据。该数据集源自真实人类与GPT-4之间的多轮对话，并经过精心清洗与格式转换，保留了超过两千段对话样本，平均上下文长度逾千词，对话轮次超过十轮。研究者常将其用于训练LoRA适配器，以增强模型在复杂多轮交互中的行为准确性与输出质量，使其更贴合GPT-4的生成风格。

解决学术问题

该数据集有效解决了学术界在指令微调中面临的两大难题：一是缺乏真实、多样且高质量的人机对话数据，二是模型在微调后易出现行为偏差或知识遗忘。通过提供经过严格筛选、去除AI说教性语言（如“作为AI语言模型”）的GPT-4真实对话，Puffin-Alpaca使得研究者能够更精确地模拟自然交互，提升模型在开放域对话中的鲁棒性与一致性。其意义在于为构建更可靠、更类人的对话系统奠定了数据基础，推动了指令微调范式的进步。

实际应用

在实际应用层面，该数据集广泛用于开发智能客服、虚拟助手及教育辅导等场景中的对话模型。通过在该数据集上微调LoRA，模型能够更自然地理解用户意图并生成贴合上下文的回应，减少生硬或重复的输出。此外，其短于2048词元的样本设计便于在消费级显卡（如24GB显存）上训练，降低了部署门槛，使得中小型研究团队也能快速迭代出高性能的对话代理。

数据集最近研究

最新研究方向

在大型语言模型微调领域，Puffin-Alpaca数据集因其源自真实人类与GPT-4的多轮对话而备受关注。该数据集经过去偏见化清洗和格式转换，专注于提供高质量、行为多样化的对齐样本，特别适用于低秩适应（LoRA）微调策略。当前前沿研究围绕目标模块选择对模型能力迁移的影响展开，如Platypus方法中采用gate_proj、down_proj、up_proj等模块组合，在13B与70B参数规模上取得了显著成效。该数据集的出现推动了模型行为更精准地模拟GPT-4输出，同时为LoRA超参数优化、上下文长度控制及资源高效训练提供了实证基础，对提升开源模型在复杂指令遵循和对话一致性方面的表现具有重要影响。