用超网络在推理阶段恢复通用能力,同时保留领域微调所得专长。
推荐理由:HyperRepair把灾难性遗忘修复移到推理阶段,并让同一预训练骨干上的源模型修复可迁移;若跨模型成立,可避免为每个微调模型重新训练。
阅读原文