状态空间模型实现线性时间上下文压缩
Boa Compressor用状态空间编码替代Transformer压缩器,瞄准在线长上下文场景。
推荐理由:现有软提示压缩本身依赖Transformer,长上下文预处理延迟抵消了节省;状态空间编码将压缩复杂度降至线性,使上下文只使用一次的在线查询也可能获得净收益。
Boa Compressor用状态空间编码替代Transformer压缩器,瞄准在线长上下文场景。
推荐理由:现有软提示压缩本身依赖Transformer,长上下文预处理延迟抵消了节省;状态空间编码将压缩复杂度降至线性,使上下文只使用一次的在线查询也可能获得净收益。