AI@NEWS

llama.cpp为MTP草稿启用CUDA图

一项拉取请求拟为MTP草稿阶段启用CUDA Graph,以进一步提升推理速度。

推荐理由:该改动针对MTP草稿解码启用CUDA Graph,意在减少重复内核启动开销;但正文未提供吞吐、延迟或硬件数据,真实性能收益仍待验证。

阅读原文