该方法在剪枝评分中显式建模通道与注意力头之间的相关性,避免独立误差假设。
推荐理由:现有剪枝常把各单元损失视为可加,但权重非正交与激活相关会放大联合删除误差;显式建模相关性有望在硬件友好压缩下更稳地保留能力。
阅读原文