在全注意力层组合滑动窗口、固定前缀和相关令牌预算，无需改权重即可提速。
推荐理由：方案只稀疏化混合模型中仍占瓶颈的全注意力层，并保留近期、前缀和高相关令牌；无需训练即可部署，使长上下文推理优化更接近即插即用。
阅读原文