研究发现在线反向KL蒸馏在文档知识注入上明显不如简单的离线蒸馏。
推荐理由：两项文档问答实验揭示反向KL的梯度加权和稀疏关键位置存在结构性失效；说明行为模仿的成功经验不能直接迁移到参数化知识注入。
阅读原文