AI@NEWS

等变结构为何削弱Adam学习率

研究从不可约表示块的共享结构解释Muon优于Adam的部分原因。

推荐理由:等变层的共享矩阵梯度会汇总2l+1个外积贡献,Adam逐元素缩放因而破坏结构所需的有效步长;这为等变模型选择矩阵型优化器提供了机制解释。

阅读原文