深度学习该用哪个Schatten-p范数?
论文证明最优Schatten-p几何取决于训练regime,低维场景下更小p范数反而占优。
推荐理由:用噪声鲁棒加速理论调和Muon等Schatten-∞优化器的矛盾结论——低维(含Chinchilla缩放)下更小p范数几何反而最优,为优化器选择划出适用边界。
论文证明最优Schatten-p几何取决于训练regime,低维场景下更小p范数反而占优。
推荐理由:用噪声鲁棒加速理论调和Muon等Schatten-∞优化器的矛盾结论——低维(含Chinchilla缩放)下更小p范数几何反而最优,为优化器选择划出适用边界。