Magpie-Align/Magpie-Phi3-Pro-300K-Filtered

该数据集是通过Magpie方法从microsoft/Phi-3-medium-128k-instruct模型中生成的，包含了300K高质量对话数据。数据集的特征包括输入长度、输出长度、任务类别、输入质量、输入难度、最小邻居距离、安全性、奖励和语言等。过滤设置包括输入质量、指令奖励、去除重复和不完整指令，并选择响应最长的300K数据。数据集主要用于监督微调（SFT），并且在某些任务中表现优于其他公开数据集。

原始信息汇总

数据集概述

数据集信息

• 特征列表:

  • uuid: 字符串类型
  • model: 字符串类型
  • gen_input_configs: 结构体类型，包含以下字段：
    • temperature: 浮点数类型
    • top_p: 浮点数类型
    • input_generator: 字符串类型
    • seed: 空类型
    • extract_input: 字符串类型
  • instruction: 字符串类型
  • response: 字符串类型
  • conversations: 列表类型，包含以下字段：
    • from: 字符串类型
    • value: 字符串类型
  • task_category: 字符串类型
  • other_task_category: 序列字符串类型
  • task_category_generator: 字符串类型
  • difficulty: 字符串类型
  • intent: 字符串类型
  • knowledge: 字符串类型
  • difficulty_generator: 字符串类型
  • input_quality: 字符串类型
  • quality_explanation: 字符串类型
  • quality_generator: 字符串类型
  • llama_guard_2: 字符串类型
  • reward_model: 字符串类型
  • instruct_reward: 浮点数类型
  • min_neighbor_distance: 浮点数类型
  • repeat_count: 整数类型
  • min_similar_uuid: 字符串类型
  • instruction_length: 整数类型
  • response_length: 整数类型
  • language: 字符串类型

• 数据分割:

  • train: 包含300,000个样本，总大小为1,574,922,147.473432字节

• 数据集大小:

  • 下载大小: 886,548,523字节
  • 数据集大小: 1,574,922,147.473432字节

配置信息

• 默认配置:
  • 数据文件路径: data/train-*

可用标签

• 输入长度: 指令中的字符总数
• 输出长度: 响应中的字符总数
• 任务类别: 指令的具体类别
• 输入质量: 指令的清晰度、特异性和连贯性，评级为非常差、差、一般、好和优秀
• 输入难度: 完成指令所需知识的水平，评级为非常容易、容易、中等、难或非常难
• 最小邻居距离: 数据集中最近的邻居的嵌入距离，用于过滤重复或相似的实例
• 安全性: 由meta-llama/Meta-Llama-Guard-2-8B标记的安全标签
• 奖励: 奖励模型给出的特定指令-响应对的输出
• 语言: 指令的语言

过滤设置

• 输入质量: ≥ 好
• 指令奖励: ≥ -10
• 移除重复和不完整的指令（例如，以":"结尾）
• 选择300K具有最长响应的数据

搜集汇总

数据集介绍

构建方式

在大型语言模型的对齐过程中，高质量的指令数据至关重要。Magpie-Align/Magpie-Phi3-Pro-300K-Filtered数据集基于一种名为Magpie的自合成方法构建，其核心洞察在于利用自回归语言模型的内在特性：仅输入保留给用户消息位置的左侧模板，即可诱导已对齐模型（如microsoft/Phi-3-medium-128k-instruct）自动生成用户查询与相应回复。通过这一流程，原始生成了约400万条指令-响应对，随后经过严格筛选，剔除了输入质量不佳、奖励分数过低、重复或不完整的样本，最终精选出30万条高质量实例。筛选标准包括输入质量不低于“good”、指令奖励大于等于-10、去除重复项，并优先选择回复长度最长的数据，以确保数据集的多样性与实用性。

特点

该数据集具有多重标注的丰富性，为研究者提供了深入分析指令质量的多维度视角。每个样本均包含输入与输出长度、任务类别、输入质量与难度等级、语言标识、安全性标签（由Meta-Llama-Guard-2-8B标注）以及奖励模型评分。特别地，最小邻居距离指标可用于识别和剔除重复或语义相似样本，增强了数据的独特性。数据集覆盖广泛的任务类型，且难度分布从“非常容易”到“非常困难”不等，反映了真实用户查询的复杂性。此外，所有样本均附带结构化对话记录，便于直接用于监督式微调（SFT），而无需额外预处理。

使用方法

该数据集专为监督式微调（SFT）设计，可直接用于训练基础模型以提升其指令遵循能力。用户可加载HuggingFace上的数据集，利用标准训练框架（如Transformers或PyTorch）对模型进行微调。建议在使用时结合数据集中提供的标注信息，例如根据任务类别或难度进行针对性采样，或利用最小邻居距离过滤冗余样本以优化训练效率。此外，研究者可复用Magpie代码库中的预处理流程，将数据集与其他公开指令数据结合，进行多阶段训练或偏好优化。由于数据已包含安全性与奖励评分，亦可作为评估模型对齐效果的基准集。

背景与挑战

背景概述

在大规模语言模型（LLM）对齐研究领域，高质量指令数据的稀缺性始终是制约模型性能提升的关键瓶颈。尽管诸如Llama-3-Instruct等模型已开放权重，其对齐数据却因高昂的人工标注成本和有限的提示范围而难以公开获取，这严重阻碍了人工智能技术的民主化进程。为突破这一困境，Magpie-Align团队于2024年提出了一种名为Magpie的自合成方法，通过利用对齐LLM的自回归特性，仅输入左侧模板至用户消息预留位置，即可自动生成海量用户查询与响应。基于此方法，研究人员使用Phi-3-medium-128k-instruct模型生成了400万条指令，并从中筛选出30万条高质量实例，形成了Magpie-Phi3-Pro-300K-Filtered数据集。该数据集不仅显著降低了数据构建的人力成本，还通过实验证明，仅使用Magpie数据进行监督微调即可在AlpacaEval、ArenaHard等基准测试中超越以往依赖偏好优化的公开数据集，对开源LLM社区产生了深远影响。

当前挑战

当前数据集面临的核心挑战集中于两大维度：其一，在领域问题层面，如何确保自合成指令数据的多样性与真实用户需求的匹配度。Magpie方法虽能大规模生成指令，但自动生成的查询可能局限于模型预训练分布内的模式，难以覆盖长尾或新兴的复杂任务场景，导致模型在特定领域的泛化能力受限。其二，在构建过程中，数据质量控制的难度尤为突出。尽管采用了输入质量、奖励模型评分、去重过滤等多重筛选机制（如要求输入质量不低于‘良好’、指令奖励不低于-10、剔除重复及不完整指令），但仍需应对自动标注标签（如难度、意图）可能存在的噪声以及安全检测模型（Llama-Guard-2）的误判风险。此外，为追求响应长度最大化而筛选的30万条数据，可能牺牲了短指令中蕴含的高效知识，如何在数据规模与多样性之间取得平衡仍是亟待解决的难题。

常用场景

经典使用场景

在大型语言模型的对齐研究中，Magpie-Phi3-Pro-300K-Filtered数据集作为监督式微调（SFT）的核心语料，被广泛用于提升模型遵循指令的能力。该数据集由Phi-3-Medium-Instruct模型通过自合成方法生成，包含30万条经过严格过滤的高质量指令-响应对，覆盖多样化的任务类别与难度层级。研究者常利用其丰富的标签信息，如输入质量、难度、奖励分数等，进行数据筛选与模型训练，以探索数据质量对对齐效果的影响。该数据集的经典使用场景在于作为基准训练集，与Llama-3等模型的官方对齐数据对比，验证自合成数据在SFT阶段的竞争力。

衍生相关工作

该数据集衍生了一系列重要的研究工作，集中在自合成数据方法论的优化与验证。其核心技术Magpie被后续工作扩展至不同规模与架构的模型，如Llama-3系列，探索了模板设计与采样策略对数据质量的影响。基于该数据的分析，研究者提出了多种过滤与增强方法，如结合奖励模型与嵌入距离的冗余剔除策略。此外，Magpie-Phi3-Pro-300K-Filtered常作为基准数据集，用于对比不同对齐范式（如SFT与偏好优化）的效能，推动了诸如直接偏好优化（DPO）等方法的改进。该数据集还催生了关于数据多样性、难度分布与模型泛化能力之间关系的研究，为对齐领域的理论深化提供了实证基础。

数据集最近研究

最新研究方向

在大语言模型对齐研究领域，高质量指令数据的匮乏长期制约着模型的性能提升与民主化进程。Magpie-Align/Magpie-Phi3-Pro-300K-Filtered数据集应运而生，其核心创新在于提出了一种名为Magpie的自合成方法，通过利用已对齐模型（如Llama-3-Instruct）的自回归特性，仅输入左侧模板即可自动生成海量用户查询与响应，从而突破了传统人工标注成本高昂、预设提示范围有限的瓶颈。该数据集基于Phi-3-Medium-128k-Instruct模型生成，经严格过滤保留了30万条高质量样本，涵盖指令质量、难度、安全性及奖励模型评分等多维标签。前沿研究表明，基于该数据集微调的Llama-3-8B-Base模型在AlpacaEval、ArenaHard等对齐基准上表现优异，甚至超越了使用千万级数据点进行监督微调与偏好优化的官方模型，为开源社区提供了一种可扩展、高质量的对齐数据生成范式，对推动大语言模型的安全性与实用性发展具有里程碑意义。