autoresearch-optimizer-findings

该数据集记录了一项于2026年3月30日至31日进行的大规模自主优化器搜索实验，旨在为50M参数量的transformer模型找到一个优于MuonAdamW基线的新优化器。实验在A100 GPU上使用5分钟固定训练时长对climbmix-400b-shuffle数据集进行训练，共运行了27个实验，涵盖基线比较、预正交化修改、后正交化修改和超参数调优四个类别。实验结果表明，基线NorMuon + Newton-Schulz优化器在该训练机制下已达到性能极限，最佳结果仅通过降低权重衰减超参数实现了0.005%的微小提升。数据集包含完整的实验结果表格（27个实验）、10种优化器实现代码、详细分析文档以及基线训练脚本。模型采用8层512维GPT风格transformer架构，训练批处理大小为131K tokens，共处理约210M tokens，使用val_bpb（每字节比特数）作为评估指标。

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称: Ablating Optimizer Ideas Around MuonAdamW for Transformer Pretraining
• 数据集地址: https://huggingface.co/datasets/mishig/autoresearch-optimizer-findings
• 核心内容: 包含27个优化器实验的结果，这些实验系统性地测试了在50M参数Transformer预训练中，是否有任何方法能够超越经过良好调优的MuonAdamW基线。

实验设置

• 模型架构: GPT风格Transformer
• 模型层数: 8
• 模型维度: 512
• 注意力头数: 4
• 参数量: 50.3M
• 训练数据: climbmix-400b-shuffle (https://huggingface.co/datasets/karpathy/climbmix-400b-shuffle)
• 训练预算: 5分钟（挂钟时间）
• 批次大小: 131K tokens
• GPU: NVIDIA A100 (80GB)
• 峰值VRAM: ~22 GB
• 完成步数: ~1,600
• 处理Tokens数: ~210M
• 评估指标: val_bpb（每字节比特数，越低越好）

主要发现

• 在27个实验中，没有任何一个实验能够显著超越基线。
• Newton-Schulz正交化是一个强大的吸引子，能够吸收大部分对其进行的梯度修改。
• NorMuon在正交化后的缩放方案是最优的，替代方案（如NAMO、NAMO-D）表现更差。
• Muon/AdamW的分工是正确的：Muon用于2D矩阵，AdamW用于嵌入/标量。
• 谨慎的权重衰减很重要，移除符号一致性掩码会损害性能。
• 谱均匀性是最优的，增强或抑制奇异方向均无帮助。

数据集内容结构

• results/all_experiments.csv: 完整的结果表格（27个实验）。
• implementations/: 包含所有优化器实现的Python脚本。
  • 01_baseline_MuonAdamW.py
  • 02_CurvMuon.py
  • 03_SoftThreshMuon.py
  • 04_AdEMAMix_Muon.py
  • 05_NAMO_D.py
  • 06_NAMO.py
  • 07_SignCoherence_Muon.py
  • 08_BlendMuon.py
  • 09_Muon_VS.py
  • 10_SpectralBoostMuon.py
• docs/: 包含详细的分析文档。
  • analysis.md
  • what_worked.md
  • what_didnt_work.md
  • future_directions.md
• experiments/: 包含基线训练脚本和实验协议。
  • train_baseline.py
  • program.md

实验结果摘要（前10名）

排名	val_bpb	实验名称	与基线的差值
1	1.030893	WD=0.10 (超参数)	-0.000049
2	1.030942	Baseline MuonAdamW	0.000000
3	1.030942	SoftThreshMuon (st_eps=0.05)	0.000000
4	1.030993	WD=0.10 + beta2=0.9	+0.000051
5	1.031042	AnnealedNorMuon (beta2 0.5->0.95)	+0.000100
6	1.031049	SpectralBoostMuon (alpha=0.1)	+0.000107
7	1.031536	AnnealedNorMuon-v2 (beta2 0.8->0.9)	+0.000594
8	1.031991	WARMDOWN_RATIO=0.5	+0.001049
9	1.032383	CurvMuon	+0.001441
10	1.032590	MagAdaptWD	+0.001648

方法论

• 所有27个实验均由AI代理（Claude Code）自主迭代完成。
• 实验流程：阅读论文、实现想法、通过Hugging Face Jobs启动训练任务、评估结果、决定保留或丢弃。
• 整个实验在Hugging Face基础设施上运行，无需本地GPU。
• 数据集和分词器缓存通过HF卷挂载（/data和/cache）进行只读访问，避免了下载和数据准备步骤。
• 实现了快速的反馈循环：从论文想法到训练模型再到评估，整个过程约10分钟。

搜集汇总

数据集介绍

构建方式

在深度学习优化器研究领域，autoresearch-optimizer-findings数据集的构建体现了系统化实验设计的严谨性。该数据集通过AI代理自主执行27项优化器对比实验，每项实验均基于统一的50M参数Transformer架构，在固定5分钟A100 GPU训练预算下完成。实验流程整合了从文献检索到代码实现、任务提交与结果评估的全自动化循环，依托Hugging Face Jobs基础设施与卷挂载技术，确保数据准备与模型训练的高效无缝衔接。

特点

该数据集的核心特点在于其高度系统化的对比框架与实验透明度。所有实验均以经过充分调优的MuonAdamW优化器为基线，覆盖了曲率感知动量、谱增强、双时间尺度指数移动平均等多种前沿优化策略的验证。数据集完整记录了每项实验的验证集比特每字节性能指标与相对基线差异，并附有可复现的训练脚本与详细分析文档，为优化器研究提供了可追溯、可比较的实证基础。

使用方法

研究人员可通过该数据集深入探究优化器在Transformer预训练中的行为特性。数据集中的结果表格可直接用于横向比较不同优化策略的效能，而开源的实现代码允许用户在相同实验设置下进行扩展或验证。分析文档系统梳理了有效与无效的修改方向，为后续优化器设计提供了明确的理论参考与避免重复探索的实用指南。

背景与挑战

背景概述

在深度学习领域，优化算法的创新是推动模型性能提升的关键驱动力之一。autoresearch-optimizer-findings数据集于2025年发布，由研究团队基于Hugging Face平台构建，旨在系统性地探索和评估针对Transformer预训练的新型优化器变体。该数据集的核心研究问题聚焦于验证MuonAdamW优化器基线的鲁棒性，通过对比27种不同的优化策略，包括曲率感知动量、谱增强及方差自适应缩放等先进技术，以确定是否存在能够显著超越基准的方法。此项工作不仅深化了对优化器正交化机制的理解，还为高效自动化实验流程树立了典范，对加速机器学习研究迭代周期具有重要影响力。

当前挑战

该数据集所解决的领域问题在于优化器设计中的性能极限探索，其挑战体现在多个层面：首先，在算法层面，Newton-Schulz正交化过程展现出极强的吸引力，导致多数梯度修改策略被其归一化效应所吸收，难以产生实质性改进；其次，构建过程中面临实验设计的复杂性，需在固定计算预算内平衡创新性与可行性，同时确保自动化流程的可靠性与结果的可复现性。这些挑战共同凸显了在现有优化框架下突破性能瓶颈的艰巨性，也为未来研究指明了需更深入理解优化动力学本质的方向。

常用场景

经典使用场景

在深度学习优化器研究领域，autoresearch-optimizer-findings数据集为系统性的优化器性能评估提供了基准。该数据集通过在一个50M参数的Transformer模型上，对27种优化器变体进行对比实验，聚焦于验证MuonAdamW基线的鲁棒性。研究者利用该数据集，能够在固定计算预算下，快速测试诸如曲率感知动量、谱增强等新颖优化策略的有效性，从而为优化器设计提供实证依据。

解决学术问题

该数据集解决了优化器研究中常见的泛化性与创新性平衡问题。通过严谨的消融实验，它揭示了Newton-Schulz正交化过程的强吸引力特性，表明多数梯度修改在该框架下均被归一化吸收。这一发现挑战了传统优化器改进的思路，强调了结构先验的重要性，并为理解优化动力学中的不变性提供了关键见解，推动了优化理论向更本质的机制探索迈进。

衍生相关工作

围绕该数据集，衍生了一系列针对优化器组件的深入分析工作。例如，基于NorMuon缩放机制的稳定性研究，以及对谱均匀性假设的验证实验。这些工作进一步探讨了正交化后梯度处理的优化策略，并激发了诸如自适应权重衰减、双时间尺度动量等方向的后续探索，为优化器社区的算法创新奠定了实证基础。