AI@NEWS

熵感知拒绝让推测解码兼顾质量

EASD在草稿与目标模型均不确定时拒绝高熵词元,无训练提升推理输出质量。

推荐理由:它不再只把推测解码当加速器,而利用验证阶段已有的词元熵过滤共同不确定的候选,试图突破“质量受目标模型封顶”;额外收益几乎无需训练。

阅读原文