ACE依据功能相似性整合专家LoRA，缓解容量碎片化与小矩阵计算开销。
推荐理由：逐专家LoRA会遭遇稀疏且失衡的梯度，并产生大量小型矩阵乘法；ACE利用微调后适配器的功能冗余进行合并，同时改善参数利用率与执行效率。
阅读原文