Hybrid Spark依据负载与内容,在模型草稿和低成本n-gram草稿之间自适应选择。
推荐理由:代码编辑等高重复任务更适合近乎零成本的长复制,通用生成则依赖模型草稿;动态选路把内容特征纳入加速决策,有望扩大推测解码收益区间。
阅读原文