卡内基梅隆研究以MaxRL统一预训练、微调和强化学习,并发现混合数据常优于分阶段训练。
推荐理由:研究把MaxRL重写为对模型自身正确答案的似然训练,使文本、精选样本和强化学习数据可任意混合,有望减少阶段切换造成的能力遗忘。
阅读原文