nemotron-qwen-fc-sft-reproduce

# Nemotron-Qwen FC State-Machine Alignment SFT — 复现材料 本数据集包含 Qwen3-4B-Instruct-2507 在 **Nemotron Agentic Tool-Use** 轨迹上进行 **状态机对齐 SFT** 的完整复现材料：训练数据、代码补丁、配置文件、评测脚本和文档。 ## 核心思路 在 BFCL 多轮 function-call 场景中通过精确的 turn-taking 分布对齐（`human → function_call → observation → gpt("")`）提升模型工具调用能力，同时保留 Qwen 原生 `<tool_call>` 格式。 ## 数据集内容 | 文件 | 说明 | |------|------| | `README_reproduce.md` | **主文档**：9 步复现指南 | | `nemotron_agent_qwen_fc_after_obs_stop_agent_heavy_100k.jsonl` | 训练数据（100k 样本，Qwen function-call 格式） | | `nemotron_agent_qwen_fc_after_obs_stop_agent_heavy_100k_dart_v18.jsonl` | 训练数据（DART v18 格式，可选） | | `llamafactory_sfta_patches.patch` | LLaMA-Factory 补丁（9 文件，+416/-21 行） | | `bfcl_sfta_patches.patch` | BFCL handler 补丁（4 文件，+37/-8 行） | | `training_config.yaml` | LLaMA-Factory 标准 SFT 训练配置 | | `opencompass_eval_config.py` | OpenCompass 评测配置（MMLU/IFEval/CLUEWSC） | | `run_bfcl_qwen3_4b.sh` | BFCL 函数调用评测脚本 | | `dart_utils.py` | DART v18 loss 实现（可选，放入 LLaMA-Factory） | | `ablation_experiment_record.md` | Token-state ablation 实验完整记录 | | `BFCL_EVAL_GUIDE.md` | BFCL 评测补充说明 | ## 依赖仓库版本 | 仓库 | Commit | 说明 | |------|--------|------| | LLaMA-Factory | `2322bf1` | `[v1] add cuda fused moe kernel` | | gorilla (BFCL) | `6ea5797` | `[BFCL] Request to add MiniCPM-SALA` | | SFT-A | `f4e85e4` | `Condense root README` | ## 训练数据统计 | 指标 | 值 | |------|-----| | 样本数 | 100,000 | | function_call 总数 | 245,565 | | observation 总数 | 245,438 | | empty gpt stop | 162,968 | | human → gpt | **0** | ## 基座模型 `Qwen/Qwen3-4B-Instruct-2507` — 从 HuggingFace 下载。 ## 快速开始 1. 克隆本仓库 2. 阅读 `README_reproduce.md` 3. 按 Step 1→2→3→4→5→7 完成训练+BFCL评测 ## 许可 Apache 2.0