Magpie-Align/Magpie-Gemma2-Pro-200K-Filtered

该数据集是通过Magpie方法使用Gemma-2-27b-it模型生成的，包含了指令和响应的对话数据。数据集的特征包括输入长度、输出长度、任务类别、输入质量、输入难度、最小邻居距离、安全性、奖励和语言等。数据集还经过了进一步的过滤，确保指令的简洁性和响应的长度。

The dataset is generated by the Gemma-2-27b-it model using the Magpie method, containing 200,000 training data entries. The dataset features include UUID, model name, generation input configurations, instructions, responses, conversations, task categories, etc. The dataset is filtered to ensure concise and safe instructions, selecting the 200,000 entries with the longest responses. The dataset is used for training and evaluating model performance, especially in task alignment and preference optimization.

原始信息汇总

数据集概述

数据集信息

特征

• uuid: 字符串类型
• model: 字符串类型
• gen_input_configs: 结构体类型
  • temperature: 浮点数类型
  • top_p: 浮点数类型
  • input_generator: 字符串类型
  • seed: 空类型
  • pre_query_template: 字符串类型
• instruction: 字符串类型
• response: 字符串类型
• conversations: 列表类型
  • from: 字符串类型
  • value: 字符串类型
• task_category: 字符串类型
• other_task_category: 序列类型
• task_category_generator: 字符串类型
• difficulty: 字符串类型
• intent: 字符串类型
• knowledge: 字符串类型
• difficulty_generator: 字符串类型
• input_quality: 字符串类型
• quality_explanation: 字符串类型
• quality_generator: 字符串类型
• llama_guard_2: 字符串类型
• reward_model: 字符串类型
• instruct_reward: 浮点数类型
• min_neighbor_distance: 浮点数类型
• repeat_count: 整数类型
• min_similar_uuid: 字符串类型
• instruction_length: 整数类型
• response_length: 整数类型
• language: 字符串类型

数据分割

• train: 包含200,000个样本，总大小为1,017,660,700.2007489字节

数据集大小

• 下载大小: 554,649,839字节
• 数据集大小: 1,017,660,700.2007489字节

配置

• default: 包含训练数据文件，路径为data/train-*

数据集详情

生成模型

• 由Gemma-2-27b-it生成，使用Magpie方法。

可用标签

• Input Length: 指令中的字符总数
• Output Length: 响应中的字符总数
• Task Category: 指令的具体类别
• Input Quality: 指令的清晰度、特异性和连贯性，评级为very poor, poor, average, good, excellent
• Input Difficulty: 完成任务所需的知识水平，评级为very easy, easy, medium, hard, very hard
• Minimum Neighbor Distance: 数据集中最近邻的嵌入距离，用于过滤重复或相似的实例
• Safety: 由meta-llama/Meta-Llama-Guard-2-8B标记的安全标签
• Reward: 奖励模型对特定指令-响应对的输出
• Language: 指令的语言

过滤设置

• Llama Guard 2: 安全
• Instruction Reward: >=-8
• Number of in instructions: <=2
• 选择200K个响应最长的数据

许可证

• 遵循Gemma License和CC BY-NC 4.0

搜集汇总

数据集介绍

构建方式

该数据集源自Magpie自合成方法，核心思路在于利用对齐后大语言模型（如Gemma-2-27b-it）的自回归特性，通过仅输入保留给用户消息位置的左侧模板，诱导模型自主生成用户查询及对应回复。从原始生成的534K条指令中，经过多阶段精细筛选得到本数据集：首先通过Llama Guard 2确保内容安全性，其次设定指令奖励阈值不低于-8以剔除低质量样本，然后限制指令中换行符数量不超过2以保持指令简洁性，最终选取回复长度最长的200K条数据，从而在规模与质量间达成精妙平衡。

特点

数据集包含丰富多元的标注信息，每条样本均附有指令与回复的字符长度、任务类别、输入质量与难度等级、最小邻域距离（用于过滤重复实例）、安全标签、奖励模型得分及语言标识。这种多维度的标注体系，使得研究者能够依据具体需求灵活筛选数据子集，例如通过难度过滤构建挑战性训练集，或利用奖励得分优先选取高质量对齐样本。此外，数据集在构建过程中严格遵循Gemma许可协议与CC BY-NC 4.0条款，确保了使用的合规性。

使用方法

该数据集以标准SFT格式存储，每条样本包含uuid、instruction、response及conversations字段，便于直接用于监督微调框架。用户可通过HuggingFace Datasets库轻松加载，并利用内置的输入质量、难度、奖励等标签进行精细化数据筛选。建议在训练前根据下游任务需求（如对话生成、指令遵循）调整过滤策略，例如结合最小邻域距离剔除语义相似样本以增强多样性，或依据奖励模型得分优先保留高奖励样本以提升对齐效果。

背景与挑战

背景概述

在大语言模型（LLM）对齐研究领域，高质量指令数据的稀缺性长期制约着模型性能的提升与AI技术的民主化进程。尽管部分模型如Llama-3-Instruct已开放权重，但其核心的对齐数据仍属私有，阻碍了开源社区的进一步发展。现有开源数据构建方法受限于高昂的人力成本和预设的提示范围，难以在规模、多样性与质量上实现突破。针对这一困境，Magpie项目由来自多所机构的研究团队于2024年提出，其核心创新在于利用对齐LLM的自回归特性，仅通过输入左侧模板至用户消息预留位置，即可自动生成大规模指令数据。该数据集Magpie-Gemma2-Pro-200K-Filtered由Google的Gemma-2-27b-it模型通过Magpie方法生成，并经过严格筛选，最终包含20万条高质量对话实例，为模型监督微调（SFT）提供了宝贵资源，在AlpacaEval等基准测试中表现优异，展现了其推动对齐研究民主化的巨大潜力。

当前挑战

该数据集面临的核心挑战源于其自合成生成方法的固有局限。首先，在领域问题层面，尽管Magpie方法能高效产出指令数据，但生成内容的质量与多样性高度依赖基础模型（Gemma-2-27b-it）的能力边界，可能导致对某些复杂或罕见任务的覆盖不足，从而影响下游模型在特定场景下的泛化性能。其次，在构建过程中，数据质量保障是一大难题：尽管采用了Llama Guard 2安全过滤、奖励模型评分及指令长度约束等多重筛选策略，但仍难以完全消除噪声、重复或语义模糊的样本，如‘最小邻近距离’指标仅能缓解而非根除冗余问题。此外，数据集的规模与质量之间存在权衡，从534K原始数据中精选200K的过程可能丢失部分有价值的长尾信息，而响应长度优先的筛选策略可能偏向冗长但非最优的回复，进一步增加了平衡数据多样性与实用性的挑战。

常用场景

经典使用场景

Magpie-Gemma2-Pro-200K-Filtered 数据集的核心用途在于为大语言模型提供高质量、多样化的监督微调（SFT）指令数据。该数据集通过自合成方法，从对齐后的 Gemma-2-27b-it 模型中直接提取用户查询与模型响应，形成涵盖多任务类别、难度等级与输入质量的对话对。研究者可基于其丰富的元标签（如任务类别、输入质量、安全性评分、奖励模型得分等），进行精细化的数据筛选与训练策略设计，从而提升模型在遵循指令、生成连贯且安全回复方面的能力。该数据集尤其适用于探索如何以较低成本构建高性能对齐数据，推动开源模型在指令遵循任务上的表现逼近甚至超越闭源模型。

实际应用

在实际应用中，Magpie-Gemma2-Pro-200K-Filtered 数据集可被用于优化各类面向终端用户的对话式 AI 系统，例如智能客服、教育辅导助手、内容创作工具等。通过在此数据集上微调基础模型，开发者能够使模型更好地理解复杂多变的用户意图，生成更具针对性、逻辑连贯且符合安全规范的回复。该数据集中包含的输入质量与难度标签，有助于针对不同应用场景（如简单问答与专业推理）进行差异化训练。此外，其内置的安全性评估（基于 Llama Guard 2）与奖励模型评分，为构建可信赖的生成式 AI 产品提供了数据层面的安全保障，促进了 AI 技术在真实世界中的负责任部署。

衍生相关工作

该数据集衍生了多项具有影响力的研究工作与工具。其核心方法 Magpie 已在 arXiv 发表技术报告（2406.08464），并开源了完整的代码库，为后续研究提供了可复现的基准。基于 Magpie 方法，研究者进一步生成了多个版本的数据集，如 Magpie-Gemma2-Pro-534K，并通过过滤策略得到本数据集。这些工作共同推动了自合成对齐数据的发展方向。此外，该数据集常被用于与其他公开指令数据集（如 UltraFeedback）进行对比分析，以验证不同数据构建策略对模型性能的影响。其丰富的元标签体系也催生了关于数据质量自动评估、难度自适应训练等子课题的探索，为构建更高效、更通用的对齐数据流水线奠定了基础。