研究发现教师对学生轨迹的评分噪声随教师规模增加，学生提升未必来自知识蒸馏。
推荐理由：关键反常结果是更大的教师反而给出更多噪声监督，而学生仍然进步，说明在策略蒸馏可能主要充当自我训练或优化正则，而非可靠传递教师能力。
阅读原文