利用混合模型的固定循环状态预测KV条目未来价值,实现与查询无关的缓存淘汰。
推荐理由:研究发现Qwen混合模型的长记忆头主要由权重决定,并据此提前判断KV效用;若效果成立,可直接压低长上下文推理的显存成本。
阅读原文