AI@NEWS

长会话KV缓存该放在GPU、CPU还是SSD

研究比较KV块在GPU、CPU与SSD间的放置、迁移、淘汰和预取策略,并用性能模型校准仿真。

推荐理由:长会话让KV缓存成为主要显存消费者,论文把问题从单纯卸载推进到逐块分层决策;其结果可直接影响代理循环与文档问答的成本和尾延迟。

阅读原文