gemma4-12b-sft-data
收藏资源简介：
Gemma 4 12B SFT数据集是一个专门为Gemma 4 12B纯文本模型微调设计的数据集，适配于pi编码代理工具。该数据集包含四个专业子集和一个合并的默认子集，总计12,509个训练样本。primary子集包含4,399个来自Qwen 3.6-27B模型的通用知识轨迹；coding子集包含4,022个来自DeepSeek V4 Flash模型的蒸馏编码轨迹；math子集包含1,954个涉及Python计算的数学/脚本验证样本；temporal子集包含2,134个用于时间校准的样本，帮助模型处理时间敏感事实时承认不确定性。每个样本采用OpenAI聊天格式的JSON对象，包含id、source、variant和messages数组（包含system、user、assistant角色对话）。数据集使用了8种系统提示变体（7种完整变体和1种最小保留变体），并包含相同的代理规则，以确保对提示变化的鲁棒性。该数据集适用于大型语言模型的监督微调任务，特别是针对代码生成、数学推理、时间敏感知识处理和多轮对话能力提升。
The Gemma 4 12B SFT dataset is specifically designed for fine-tuning the Gemma 4 12B plain-text model, adapted for the pi coding proxy tool. It includes four specialized subsets and one merged default subset, totaling 12,509 training samples. The primary subset contains 4,399 general knowledge trajectories from the Qwen 3.6-27B model; the coding subset contains 4,022 distilled coding trajectories from the DeepSeek V4 Flash model; the math subset contains 1,954 samples involving Python-based mathematical/script verification; the temporal subset contains 2,134 samples for temporal calibration, helping the model acknowledge uncertainty when handling time-sensitive facts. Each sample uses the OpenAI chat format as a JSON object, including id, source, variant, and a messages array (with dialogues for system, user, and assistant roles). The dataset employs 8 system prompt variants (7 full variants and 1 minimal reserved variant) and includes the same proxy rules to ensure robustness to prompt variations. It is suitable for supervised fine-tuning tasks of large language models, particularly for enhancing code generation, mathematical reasoning, time-sensitive knowledge handling, and multi-turn dialogue capabilities.
数据集概述
该数据集是一个用于对 Gemma 4 12B 纯文本模型进行监督微调（SFT）的专用数据集，适配于 pi coding agent 框架。
子集构成
数据集包含 4个特定子集 和 1个合并子集，具体如下：
| 子集名称 | 样本数量 | 描述 | 学习率 |
|---|---|---|---|
| primary | 4,399 | Qwen 3.6-27B 模型的轨迹数据（通用知识） | 1e-4 |
| coding | 4,022 | DeepSeek V4 Flash 蒸馏的编码轨迹数据 | 5e-5 |
| math | 1,954 | 数学/脚本验证数据（含 Python 计算） | 2e-5 |
| temporal | 2,134 | 时间校准数据（对时效性信息表达不确定性） | 2e-5 |
| default | 12,509 | 上述所有子集的合并，作为默认训练集 | 1e-4 |
数据格式
每条数据是一个 JSON 对象，采用 OpenAI Chat 格式，包含一个 messages 数组。
json { "id": "traj_...", "source": "synthetic-qwen3.6-27b", "variant": "canonical_full", "messages": [ {"role": "system", "content": "..."}, {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."} ] }
关键特征
- 系统提示变体：数据集使用了 8 种不同的系统提示变体（7 个完整版 + 1 个最小保留版），以确保对提示变化的鲁棒性。所有变体均包含相同的
agents.md纪律规则。
数据加载
可以使用 Hugging Face datasets 库加载该数据集。
python from datasets import load_dataset
加载特定子集（例如 primary）
dataset = load_dataset("sleepyeldrazi/gemma4-12b-sft-data", "primary", split="train")
加载所有合并数据（default）
dataset = load_dataset("sleepyeldrazi/gemma4-12b-sft-data", split="train")
加载多个子集并混合
datasets = [ load_dataset("sleepyeldrazi/gemma4-12b-sft-data", "primary", split="train"), load_dataset("sleepyeldrazi/gemma4-12b-sft-data", "coding", split="train"), load_dataset("sleepyeldrazi/gemma4-12b-sft-data", "math", split="train"), load_dataset("sleepyeldrazi/gemma4-12b-sft-data", "temporal", split="train"), ]
