AI@NEWS

Muon可胜过专用持续学习方法

实验以Muon训练增量LoRA,通过正交化更新对比O-LoRA与ELLA等持续学习方案。

推荐理由:结果挑战了遗忘抑制必须依赖任务感知约束的惯例:仅靠优化器正交化更新,普通增量LoRA也可能胜过专门方法,显示优化几何是关键变量。

阅读原文