实验以Muon训练增量LoRA,通过正交化更新对比O-LoRA与ELLA等持续学习方案。
推荐理由:结果挑战了遗忘抑制必须依赖任务感知约束的惯例:仅靠优化器正交化更新,普通增量LoRA也可能胜过专门方法,显示优化几何是关键变量。
阅读原文