逐步查询通过分阶段提问获取解释,不依赖教师模型暴露内部思维链。
推荐理由:方法绕过黑盒教师只返回答案或简解的限制,以针对中间步骤的外部查询重建监督信号;若效果成立,可在不索取私有思维链时完成更细粒度蒸馏。
阅读原文