AI@NEWS

用可达性对齐突破推理训练瓶颈

自蒸馏不再只追求教师答案正确,而是筛选学生实际可学习、可到达的推理轨迹。

推荐理由:论文指出正确教师轨迹未必处于学生可达分布,并以可达性约束自蒸馏;这触及推理模型后训练的关键瓶颈:监督质量不能只看答案。

阅读原文