AI@NEWS

深度学习该用哪个Schatten-p范数?

论文证明最优Schatten-p几何取决于训练regime,低维场景下更小p范数反而占优。

推荐理由:用噪声鲁棒加速理论调和Muon等Schatten-∞优化器的矛盾结论——低维(含Chinchilla缩放)下更小p范数几何反而最优,为优化器选择划出适用边界。

阅读原文