AI@NEWS

导师解码:推理加速还能提升质量

论文从提升方法视角解释有损推测解码为何可同时超越目标模型的速度与质量。

推荐理由:工作把有损推测解码形式化为导师解码,并证明草稿模型的偏移可产生类似提升法的纠错效应,突破了加速必然牺牲目标分布质量的传统理解。

阅读原文