AI@NEWS

条件对比式在线语言模型蒸馏

CCE-OPD通过条件敏感的教师监督,减少学生前缀诱导出的违背题设推理。

推荐理由:研究抓住在线蒸馏的隐性缺陷:教师面对学生错误前缀也可能继续合理化;条件对比机制转而约束题设一致性,有望抑制错误推理自强化。

阅读原文