通过低延迟主机端KV缓存卸载，缓解长上下文推理的HBM容量瓶颈。
推荐理由：方案瞄准KV卸载中管理与主机到GPU回载开销，使释放HBM带来的并发提升能转化为有效吞吐；这是长上下文服务扩容的关键系统问题。
阅读原文