AI@NEWS

CausalGate因果剪枝Transformer

CausalGate用干预校准注意力和MLP子层重要性,实现更可靠的LLM模块剪枝。

推荐理由:相比用激活大小或相似度剪层,CausalGate直接置零子层输出估计因果影响;这有望减少自适应推理中误删语义关键模块的问题。

阅读原文