研究注意力头剪枝能否在有限性能损失下减少训练文本的逐字复现。
推荐理由:若冗余头剪枝能保住下游能力同时压低逐字复现,就把模型压缩与隐私治理连接起来;这也为“注意力头像关联记忆”提供可干预的实证检验。
阅读原文