AI@NEWS

状态空间模型实现线性时间上下文压缩

Boa Compressor用状态空间编码替代Transformer压缩器,瞄准在线长上下文场景。

推荐理由:现有软提示压缩本身依赖Transformer,长上下文预处理延迟抵消了节省;状态空间编码将压缩复杂度降至线性,使上下文只使用一次的在线查询也可能获得净收益。

阅读原文