AI@NEWS

分支式在线策略蒸馏

从高不确定或师生分歧节点生成分支,以扩大有限预算下的蒸馏监督覆盖。

推荐理由:方法复用同一前缀,在学生不确定且师生分歧大的节点采样多条后续,并逐词接受教师监督,直接改善单轨迹蒸馏覆盖不足。

阅读原文