AI@NEWS

GAAC无损压缩端侧LLM的KV缓存

GAAC利用BF16指数冗余编码KV缓存,在不近似KV的前提下降低存储与注意力带宽。

推荐理由:它瞄准长上下文端侧推理真正增长的KV瓶颈,以分通道基值加偏移实现无损编码;若解码可融合注意力,能兼顾精度与带宽。

阅读原文