六项孟加拉语任务的45组比较中,两种门控方法均未显著优于普通知识蒸馏。
推荐理由:跨三档学生规模和两类教师的45次比较均无显著增益,削弱了复杂门控优于普通蒸馏的主张;其效果可能主要来自软标签平滑而非可靠性识别。
阅读原文