AI@NEWS

按内容动态选择推测解码器

Hybrid Spark依据负载与内容,在模型草稿和低成本n-gram草稿之间自适应选择。

推荐理由:代码编辑等高重复任务更适合近乎零成本的长复制,通用生成则依赖模型草稿;动态选路把内容特征纳入加速决策,有望扩大推测解码收益区间。

阅读原文