opus4.7-reasoning-distill

# Opus 4.7 Reasoning Distill Dataset (unsloth SFT 训练格式) 本数据集从 [lordx64/reasoning-distill-claude-opus-4-7-max](https://modelscope.cn/datasets/lordx64/reasoning-distill-claude-opus-4-7-max) 下载并格式转换而来。原始数据为 Parquet 格式，转换为标准 OpenAI `messages` 格式，可直接用于 unsloth 的 response-only SFT 训练。 ## 源数据集 | 项目 | 值 | |------|------| | 原始仓库 | [lordx64/reasoning-distill-claude-opus-4-7-max](https://modelscope.cn/datasets/lordx64/reasoning-distill-claude-opus-4-7-max) | | Teacher Model | claude-opus-4-7 | | 样本数 | 8,124 | | 原始格式 | Parquet（`system` + `messages` + `thinking` + `response` + 元信息） | ## 数据格式 ### 原始数据（Parquet） 每条记录的 `messages` 字段为 numpy array，包含 user 消息；`thinking` 和 `response` 分别存储思维链和最终回复： | 列 | 类型 | 说明 | |------|------|------| | `system` | string | system prompt | | `messages` | numpy array | user 消息（`{role, content}`） | | `thinking` | string | Claude 思维链推理过程 | | `response` | string | 最终回复 | | `model` | string | claude-opus-4-7 | | `source_dataset` | string | 源数据集标识 | | `stop_reason` | string | 停止原因 | ### 转换后数据（JSONL） 转换为 OpenAI `messages` 格式，thinking 提取为独立的 `reasoning` 字段： ```json { "messages": [ {"role": "system", "content": "You are a helpful AI assistant."}, {"role": "user", "content": "..."}, {"role": "assistant", "content": "...", "reasoning": "..."} ] } ``` ## 文件说明 | 文件 | 条数 | 大小 | 说明 | |------|------|------|------| | `data/train-00000-of-00001.parquet` | 8,124 | 19 MB | 原始数据（从 ModelScope 直接下载，未修改） | | **`train_data.jsonl`** | **8,124** | **32 MB** | **转换后的训练数据（可直接用于微调）** | > 注意：Parquet 列式存储更紧凑，转为 JSONL 后体积从 19 MB 增加到 32 MB，因为 JSON 文本序列化比列式压缩冗余大。 ## Token 统计 (Qwen3.5-4B tokenizer, vocab=248044) | 指标 | 值 | |------|------| | 总 tokens | 3,799,628 | | 样本数 | 8,124 | | 平均 tokens/样本 | 468 | | 中位数 | 436 | | Min / Max | 25 / 8,049 | | P90 / P95 / P99 | 1,252 / 1,696 / 3,571 | | > 4096 tokens | 40 条 (0.5%) | | > 8192 tokens | 0 条 (0.0%) | ### 分布 | 范围 | 样本数 | 占比 | |------|------|------| | 0-256 | 2,850 | 35.1% | | 256-512 | 1,831 | 22.5% | | 512-1024 | 2,199 | 27.1% | | 1024-2048 | 953 | 11.7% | | 2048-4096 | 251 | 3.1% | | 4096-8192 | 40 | 0.5% | ## 使用建议 - 适合 4096 窗口训练（仅 0.5% 超出） - 短样本为主（中位数 436 tokens），适合与长序列蒸馏数据混合训练 ## 许可证 Apache License 2.0 ## 引用 原始数据集：[lordx64/reasoning-distill-claude-opus-4-7-max](https://modelscope.cn/datasets/lordx64/reasoning-distill-claude-opus-4-7-max)