AI@NEWS

门控蒸馏可能只是变相标签平滑

六项孟加拉语任务的45组比较中,两种门控方法均未显著优于普通知识蒸馏。

推荐理由:跨三档学生规模和两类教师的45次比较均无显著增益,削弱了复杂门控优于普通蒸馏的主张;其效果可能主要来自软标签平滑而非可靠性识别。

阅读原文