AI@NEWS

快手发布Summary Attention V2技术报告

新版试图解除混合摘要注意力各层共享压缩分块的限制,提高KV缓存配置灵活性。

推荐理由:KSA混合架构原先要求不同层采用相同摘要分块,限制了KV缓存按层配置;V2针对这一流式摘要瓶颈重构机制,反映长上下文优化正转向更细粒度的内存调度。

阅读原文