AI@NEWS

剪枝冗余注意力头可抑制逐字记忆

研究注意力头剪枝能否在有限性能损失下减少训练文本的逐字复现。

推荐理由:若冗余头剪枝能保住下游能力同时压低逐字复现,就把模型压缩与隐私治理连接起来;这也为“注意力头像关联记忆”提供可干预的实证检验。

阅读原文