AI@NEWS

面向单元相关性的结构化剪枝

该方法在剪枝评分中显式建模通道与注意力头之间的相关性,避免独立误差假设。

推荐理由:现有剪枝常把各单元损失视为可加,但权重非正交与激活相关会放大联合删除误差;显式建模相关性有望在硬件友好压缩下更稳地保留能力。

阅读原文