改进KV缓存流式传输，让16GB显卡运行Qwen 27B时获得更高解码速度。
推荐理由：方案按预填充与解码阶段复用显存池，并逐层从主存预取超额KV缓存；它缓解了小显存设备的带宽瓶颈，使27B模型本地推理更实用。
阅读原文