Arc-ATLAS-Teach-v0
收藏Arc-ATLAS-Teach-v0 数据集概述
数据集摘要
Arc-ATLAS-Teach-v0 是一个高质量的自适应教学数据集，用于训练教师模型以提升所有能力水平学生的表现。该数据集代表了从传统"推理对齐"到教学有效性的范式转变——教导模型思考"这个学生需要什么？"而非"如何展示我的推理？"
核心创新
- 诊断：通过最小化探查揭示学生能力
- 适应：根据特定学生需求调整教学内容
- 提升：在不降低性能的情况下增强表现
- 优化：针对教学有效性而非推理展示
数据集统计
- 总样本数：1,311
- BigMath-RL 样本：826（63%）
- MathDial-AIME 样本：501（38%）
自适应教学框架
双通道教学协议
- 诊断探查（通道1）：教师询问"简要概述你的方法"以揭示学生理解（≤50个词元）
- 自适应教学（通道2）：教师生成针对诊断差距的精确条件指令
奖励设计
使用非对称奖励，严重惩罚性能下降（-2倍），同时按教学效率比例奖励改进
教学标记
- (probing)：97%覆盖率 - 针对部分理解的引导性问题
- (focus)：100%覆盖率 - 引导关注关键概念
- (telling)：30%覆盖率 - 在需要时提供基础知识
模型配置
- 学生模型：
- 弱能力：Qwen3-4B-Instruct-2507
- 中等能力：Qwen3-30B-A3B-Instruct-2507
- 强能力：Qwen3-235B-A22B-Instruct-2507
- 教师模型：Qwen3-235B-A22B-Instruct-2507
非退化率
- 平均值：97.8%（学生在教学后保持或提升表现）
数据集创建方法
问题选择与筛选
BigMath-RL 数据集（810个样本）
- 选自Big-Math-RL-Verified-Processed的4-5级（AIME难度）
- 筛选基线性能<0.5的问题
- 每个问题测试3种学生能力水平
MathDial-Escalated 数据集（501个样本）
- 使用Qwen2.5-72B将原始7年级问题升级至AIME难度
- 167个问题×3种学生变体=501个样本
- 保留原始MathDial对话的教学标记
双通道生成协议
通道1：诊断探查
- 学生模型生成方法概述（≤50个词元）
- 仅进行策略规划，不求解
通道2：自适应教学
- 教师模型接收问题+学生方法
- 生成诊断和针对性教学
质量保证
- 通过实际推理验证基线性能
- 测量教学有效性
- 跟踪非退化率
- 人工审查教学标记使用
数据来源
-
BigMath-RL-Verified-Processed（826个样本）
- AIME级别竞赛数学问题
- 深度数学推理
- 0-999整数答案
-
MathDial（501个样本）
- 从7年级升级至AIME难度
- 保留教学对话模式
- 每个问题3种学生变体
数据集文件
1. training/sft.jsonl（1,311条记录）
监督微调最小字段：
problem_text：数学问题student_approach：学生初始方法teacher_diagnosis：教师能力评估teacher_teaching：带教学标记的自适应教学
2. training/rl.jsonl（1,311条记录）
强化学习完整字段：
- 包含所有SFT字段
ground_truth：正确答案baseline_score：无教学学生表现with_teaching_score：有教学学生表现uplift：教学带来的性能提升
3. training/rl_headroom.jsonl（541条记录）
最大奖励方差过滤子集：
- 仅包含
baseline_score < 1.0且uplift > 0的记录 - 针对GRPO/GSPO训练效率优化
使用示例
python from datasets import load_dataset dataset = load_dataset("Arc-Intelligence/Arc-ATLAS-Teach-v0")
记录结构示例
json { "schema_version": "ast_sft.v0.1", "problem_id": "atlas.math.bigmath.adapt.hf.000111.weak", "domain": "math", "source_dataset": "open-r1/Big-Math-RL-Verified-Processed", "license": "CC-BY-4.0", "problem_text": "...", "student": { "model_id": "Qwen/Qwen3-4B-Instruct-2507", "approach": "...", "plan_tokens": 35, "baseline_score": 0.0, "error_tags": [] }, "teacher": { "diagnosis": "...", "teaching": "...", "teaching_tokens": 41, "style_only": false } }
版本历史
- v0.2.0（2025-09-08）：完整数据集发布，1,311个样本
- v0.1.0（2025-09-07）：初始测试版本
许可证
CC-BY-4.0
引用
bibtex @dataset{arc_atlas_teach_v0, title={Arc-ATLAS-Teach-v0: Adaptive Teaching Dataset for Mathematics}, author={Arc Intelligence}, year={2025}, publisher={HuggingFace}, version={0.2.0} }
