gemma4-12b-sft-data

Gemma 4 12B SFT数据集是一个专门为Gemma 4 12B纯文本模型微调设计的数据集，适配于pi编码代理工具。该数据集包含四个专业子集和一个合并的默认子集，总计12,509个训练样本。primary子集包含4,399个来自Qwen 3.6-27B模型的通用知识轨迹；coding子集包含4,022个来自DeepSeek V4 Flash模型的蒸馏编码轨迹；math子集包含1,954个涉及Python计算的数学/脚本验证样本；temporal子集包含2,134个用于时间校准的样本，帮助模型处理时间敏感事实时承认不确定性。每个样本采用OpenAI聊天格式的JSON对象，包含id、source、variant和messages数组（包含system、user、assistant角色对话）。数据集使用了8种系统提示变体（7种完整变体和1种最小保留变体），并包含相同的代理规则，以确保对提示变化的鲁棒性。该数据集适用于大型语言模型的监督微调任务，特别是针对代码生成、数学推理、时间敏感知识处理和多轮对话能力提升。

The Gemma 4 12B SFT dataset is specifically designed for fine-tuning the Gemma 4 12B plain-text model, adapted for the pi coding proxy tool. It includes four specialized subsets and one merged default subset, totaling 12,509 training samples. The primary subset contains 4,399 general knowledge trajectories from the Qwen 3.6-27B model; the coding subset contains 4,022 distilled coding trajectories from the DeepSeek V4 Flash model; the math subset contains 1,954 samples involving Python-based mathematical/script verification; the temporal subset contains 2,134 samples for temporal calibration, helping the model acknowledge uncertainty when handling time-sensitive facts. Each sample uses the OpenAI chat format as a JSON object, including id, source, variant, and a messages array (with dialogues for system, user, and assistant roles). The dataset employs 8 system prompt variants (7 full variants and 1 minimal reserved variant) and includes the same proxy rules to ensure robustness to prompt variations. It is suitable for supervised fine-tuning tasks of large language models, particularly for enhancing code generation, mathematical reasoning, time-sensitive knowledge handling, and multi-turn dialogue capabilities.

原始信息汇总

数据集概述

该数据集是一个用于对 Gemma 4 12B 纯文本模型进行监督微调（SFT）的专用数据集，适配于 pi coding agent 框架。

子集构成

数据集包含 4个特定子集 和 1个合并子集，具体如下：

子集名称	样本数量	描述	学习率
primary	4,399	Qwen 3.6-27B 模型的轨迹数据（通用知识）	1e-4
coding	4,022	DeepSeek V4 Flash 蒸馏的编码轨迹数据	5e-5
math	1,954	数学/脚本验证数据（含 Python 计算）	2e-5
temporal	2,134	时间校准数据（对时效性信息表达不确定性）	2e-5
default	12,509	上述所有子集的合并，作为默认训练集	1e-4

数据格式

每条数据是一个 JSON 对象，采用 OpenAI Chat 格式，包含一个 messages 数组。

json { "id": "traj_...", "source": "synthetic-qwen3.6-27b", "variant": "canonical_full", "messages": [ {"role": "system", "content": "..."}, {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."} ] }

关键特征

• 系统提示变体：数据集使用了 8 种不同的系统提示变体（7 个完整版 + 1 个最小保留版），以确保对提示变化的鲁棒性。所有变体均包含相同的 agents.md 纪律规则。

数据加载

可以使用 Hugging Face datasets 库加载该数据集。

python from datasets import load_dataset

加载特定子集（例如 primary）

dataset = load_dataset("sleepyeldrazi/gemma4-12b-sft-data", "primary", split="train")

加载所有合并数据（default）

dataset = load_dataset("sleepyeldrazi/gemma4-12b-sft-data", split="train")

加载多个子集并混合

datasets = [ load_dataset("sleepyeldrazi/gemma4-12b-sft-data", "primary", split="train"), load_dataset("sleepyeldrazi/gemma4-12b-sft-data", "coding", split="train"), load_dataset("sleepyeldrazi/gemma4-12b-sft-data", "math", split="train"), load_dataset("sleepyeldrazi/gemma4-12b-sft-data", "temporal", split="train"), ]

搜集汇总

数据集介绍

构建方式

gemma4-12b-sft-data是一个专为Gemma 4 12B文本模型设计的监督微调数据集，旨在增强模型在代码智能代理任务中的表现。数据集以分层结构组织，涵盖四个独立子集：primary子集包含来自Qwen 3.6-27B模型的4,399条通用知识轨迹；coding子集包含由DeepSeek V4 Flash蒸馏生成的4,022条编码轨迹；math子集包含1,954条结合Python计算验证的数学脚本；temporal子集包含2,134条时间校准数据，用于训练模型对时效性事实表达不确定性。所有子集均可通过default配置合并为包含12,509条样本的统一训练集。每个样本以OpenAI聊天格式的JSON对象存储，包含系统、用户和助手角色的消息数组，并采用8种提示变体以确保对提示变化的鲁棒性。

特点

该数据集的核心特点在于其精细化的子集划分与针对性的学习率配置，充分体现了对模型不同能力维度的差异化训练策略。primary子集以1e-4的学习率聚焦通用知识学习；coding子集采用5e-5学习率，强调编码任务的稳定性；math与temporal子集均以2e-5的低学习率运行，前者通过脚本验证强化数学推理，后者则通过时间校准培养模型在时间敏感事实识别中的谨慎态度。数据集引入8种系统提示变体，包含7种完整变体和1种最小保留变体，均在统一纪律规则下运行，使模型能够适应多样化的交互指令，提升泛化性。此外，来源多样化的合成数据与蒸馏技术的结合，确保了数据质量与领域覆盖度的平衡。

使用方法

使用该数据集时，可通过HuggingFace的datasets库灵活加载。用户可调用load_dataset函数并指定子集名称（如'primary'、'coding'、'math'或'temporal'）来单独获取各子集的训练分割数据，或使用默认配置直接加载合并后的12,509条样本。如需混合训练，也可分别加载多个子集后进行自定义混合。数据以标准对话格式呈现，每条样本包含id、source、variant字段及messages列表，其中messages按角色序列组织，便于直接集成到基于Transformer的对话模型微调流程中。建议根据训练目标为不同子集分配对应的学习率与权重，以充分发挥该数据集的结构化优势。

背景与挑战

背景概述

在大语言模型快速迭代的浪潮中，监督微调（SFT）数据集的构建质量直接决定了模型在特定场景下的表现上限。该数据集由社区研究者sleepyeldrazi于2024年创建，旨在为Gemma 4 12B文本模型提供一套面向编程代理（coding agent）的高质量微调数据。核心研究问题聚焦于如何通过多样化的子集设计，提升模型在通用知识、编程、数学推理与时间敏感性任务上的综合能力。数据集融合了来自Qwen 3.6-27B的通用轨迹、DeepSeek V4 Flash的编程蒸馏数据、基于Python验证的数学脚本以及时间校准样本，总计超过1.2万条示例。通过引入8种系统提示变体以增强对提示变化的鲁棒性，该数据集为后续研究者探索小型模型在代理任务中的微调策略提供了参考基准。

当前挑战

构建该数据集面临的挑战首先来自于领域问题层面：现有微调数据多偏重单一能力，难以兼顾编程代理长期任务中所需的动态规划、不确定性处理（如时间敏感事实的认知）以及多步骤数学验证，这要求子集设计必须在知识广度与任务深度之间取得平衡。构建过程中，数据来源的异构性带来了格式统一与质量控制的困难，例如合成轨迹可能包含错误推理路径，而蒸馏数据存在丢失原始上下文的风险。此外，8种系统提示变体的设计需确保对模型行为的有效引导而不引入偏差，时间校准子集还需解决标注数据稀缺与时效性评估标准模糊的问题。最终，不同子集学习率的差异化设置（1e-4至2e-5）亦增加了超参数调优的复杂性。

常用场景

经典使用场景

该数据集专为Gemma 4 12B文本模型的指令微调而设计，旨在增强模型在多种复杂任务上的执行能力。其核心应用场景涵盖通用知识问答（primary子集）、代码生成与修复（coding子集）、数学推理与脚本验证（math子集），以及时间敏感性事实的校准推理（temporal子集）。通过融合这四类高质量轨迹数据，研究者能够对模型进行全面的监督微调，使其在编程助手、数学计算、事实对话等场景中展现出更精准、可靠的响应能力。数据集采用OpenAI多轮对话格式，并设计了多种系统提示变体以提升对提示工程的鲁棒性，特别适用于构建具备工具调用与任务规划能力的智能代理。

实际应用

在实际应用中，该数据集可被直接用于开发面向开发者的智能编程助手，帮助完成代码补全、错误定位、重构建议等任务，提升软件工程效率。基于数学子集微调后的模型能够辅助用户进行数值分析、公式推导或学术计算，适用于教育辅导或工程模拟场景。时间校准数据使得模型更适合新闻问答、实时信息检索等对事实时效性要求高的对话系统，减少过时信息的传播风险。此外，该数据集的default子集合并了所有类型数据，能够训练出具备通用能力的对话代理，广泛应用于客户服务、知识问答、任务自动化等企业级AI产品中。

衍生相关工作

围绕gemma4-12b-sft-data数据集，衍生了一系列探索性的研究与实践工作。在模型训练策略方面，研究人员可基于其多子集结构开展混合比例调优实验，探究不同领域数据对模型能力的影响权重；在鲁棒性研究领域，数据集提供的8种系统提示变体可被用于分析提示工程对模型输出一致性的作用机制。此外，该数据集与pi coding agent框架的适配性，激发了将微调后的模型集成到复杂任务规划链中的中间件开发。未来可能涌现的工作包括：基于该数据设计更高效的蒸馏策略以减小模型规模，或将其作为基准数据适用于对比不同基座模型在指令遵循上的表现差异。