Magpie-Align/Magpie-Qwen2.5-Pro-1M-v0.1

该数据集是通过Magpie方法生成的，使用了Qwen/Qwen2.5-72B-Instruct模型。数据集包含100万个训练样本，主要用于文本生成任务。数据集的特征包括uuid、model、gen_input_configs、instruction、response、conversations、task_category、other_task_category、task_category_generator、difficulty、intent、knowledge、difficulty_generator、input_quality、quality_explanation、quality_generator、llama_guard_2、reward_model、instruct_reward、min_neighbor_distance、repeat_count、min_similar_uuid、instruction_length、response_length和language。数据集还提供了输入长度、输出长度、任务类别、输入质量、输入难度、最小邻居距离、安全性和奖励等标签。

This dataset is generated by Qwen/Qwen2.5-72B-Instruct using the Magpie method, containing 1 million training data, of which 300,000 high-quality instances are filtered. The dataset features include input length, output length, task category, input quality, input difficulty, minimum neighbor distance, safety tags, reward, and language. It is primarily used for supervised fine-tuning (SFT) and performs comparably to the official Llama-3-8B-Instruct model on certain tasks.

搜集汇总

数据集介绍

构建方式

Magpie-Qwen2.5-Pro-1M-v0.1 数据集基于自合成方法 Magpie 构建，其核心思想是利用已对齐的大型语言模型（如 Qwen2.5-72B-Instruct）的自回归特性，通过仅输入保留给用户消息位置的左侧模板，诱导模型自动生成用户查询及其对应回复。该方法无需人工标注或预设提示范围，即可规模化地提取出高质量指令数据。本数据集包含 100 万条原始对话，每条记录涵盖指令、响应、对话历史、任务类别、难度等级、输入质量、安全标签及奖励模型评分等多维元信息，为后续过滤与精选提供了丰富依据。

特点

该数据集具备显著的结构化与多样性特征。每条样本包含 22 个字段，从指令长度、响应长度、任务类别到难度、意图、知识领域等均有详细标注，便于用户按需筛选。特别引入了最小邻居距离指标，用于衡量样本间的嵌入相似度，可有效去除冗余或重复实例。此外，安全标签由 Llama-Guard-2 模型标注，奖励模型评分则提供了指令-响应对的质量量化参考。这些多维度标签共同构成了一个高度可控的数据筛选框架，使得研究者能够灵活提取特定质量或难度级别的子集。

使用方法

该数据集以 HuggingFace Datasets 格式发布，包含一个训练集，共 100 万条样本，数据文件为 Parquet 格式。用户可通过 datasets.load_dataset 方法直接加载，示例代码如下：`from datasets import load_dataset; dataset = load_dataset('Magpie-Align/Magpie-Qwen2.5-Pro-1M-v0.1', split='train')`。数据集适用于监督微调（SFT）任务，尤其适合用于对齐大型语言模型。用户可依据任务类别、难度、输入质量、最小邻居距离等字段进行过滤，或结合奖励模型分数挑选高质量子集。官方还提供了经筛选后的 300K 高质量版本，便于直接用于训练与评估。

背景与挑战

背景概述

在大型语言模型（LLM）对齐领域，高质量指令数据的匮乏始终是制约模型性能提升与AI民主化的核心瓶颈。尽管如Llama-3-Instruct等模型已开放权重，但其对齐数据仍属私有，高昂的人力成本与有限的提示范围使得现有开源数据构建方法难以规模化，数据多样性与质量亦受局限。针对这一困境，Magpie-Align团队于2024年提出了一种名为Magpie的自合成方法，通过利用对齐LLM的自回归特性，仅输入左侧模板至用户消息预留位置，即可直接生成用户查询与对应响应。基于这一创新，研究者采用Qwen2.5-72B-Instruct模型生成了包含100万条指令-响应对的数据集Magpie-Qwen2.5-Pro-1M-v0.1，并附以任务类别、输入质量、难度、安全标签及奖励模型评分等多维度标注。该数据集旨在为监督微调（SFT）提供大规模、高质量、低成本的训练资源，其在AlpacaEval、ArenaHard等对齐基准上的表现已超越部分依赖10万数据点的官方模型，彰显了自合成数据在LLM对齐中的巨大潜力。

当前挑战

该数据集面临的核心挑战首先源自LLM对齐领域固有的数据稀缺与多样性不足问题——传统人工标注成本高昂且难以覆盖长尾任务，而现有自动生成方法受限于预定义模板，易导致指令分布偏窄、新颖性缺失。Magpie方法虽通过自回归生成突破了模板限制，但构建过程中需应对生成质量不均衡的挑战：原始生成的400万指令中仅约30万条被判定为高质量，大量低质量、重复或安全风险样本需通过嵌入距离过滤、安全检测（如Llama-Guard-2）及奖励模型评分等多重筛选机制剔除，计算开销与过滤策略的精确性成为技术难点。此外，数据集依赖单一模型（Qwen2.5-72B-Instruct）生成，可能引入模型固有偏见，且多语言与跨领域任务的覆盖度仍需验证；在评估层面，如何设计更全面的基准以衡量数据质量对下游任务的真实增益，亦是亟待解决的开放性问题。

常用场景

经典使用场景

在大型语言模型的对齐研究中，高质量指令数据的匮乏始终是制约模型性能提升的关键瓶颈。Magpie-Qwen2.5-Pro-1M-v0.1数据集正是为此而生，其最经典的使用场景在于作为监督微调（SFT）的训练语料，直接用于增强基础模型遵循指令的能力。该数据集通过自合成方法，从对齐后的Qwen2.5-72B-Instruct模型中自动提取海量指令与回复对，无需人工标注，即可提供百万级别的多样化训练样本。研究者可基于此数据集对Llama、Qwen等开源基座模型进行微调，显著提升其在对话、推理、创作等通用任务上的表现。

解决学术问题

该数据集核心解决了学术界长期面临的指令数据规模化生产与质量控制难题。传统方法依赖高昂的人力标注或有限范围的预设提示，难以兼顾数据的多样性与规模。Magpie-Qwen2.5-Pro-1M-v0.1利用自回归模型的生成特性，从对齐模型中直接“蒸馏”出用户查询与回复，实现了低成本、高效率的数据合成。其附带的任务类别、难度等级、输入质量等元标签，为数据筛选与模型评估提供了量化依据。研究表明，使用该数据集进行SFT的模型，在AlpacaEval、ArenaHard等对齐基准上，性能可媲美甚至超越使用百万级数据和偏好优化训练的官方指令模型，为数据驱动的大模型对齐研究开辟了新路径。

衍生相关工作

围绕Magpie-Qwen2.5-Pro-1M-v0.1，衍生了一系列富有影响力的工作。原始Magpie方法被扩展至多个模型架构，催生了针对数学推理的Magpie-Qwen2.5-Math-Pro-300K和面向编程任务的Magpie-Qwen2.5-Coder-Pro-300K等专用数据集。研究者还基于该数据集探索了数据质量过滤策略，开发出经过严格筛选的300K高质量子集，进一步提升了微调效率。此外，该数据集的发布推动了自合成数据范式的普及，后续工作借鉴其思想，将自生成数据用于偏好优化、多轮对话增强等方向，形成了从数据生成到模型对齐的完整技术链条，深刻影响了开源大模型生态的发展。