AI@NEWS

GateSight用循环记忆指导KV淘汰

利用混合模型的固定循环状态预测KV条目未来价值,实现与查询无关的缓存淘汰。

推荐理由:研究发现Qwen混合模型的长记忆头主要由权重决定,并据此提前判断KV效用;若效果成立,可直接压低长上下文推理的显存成本。

阅读原文