AI@NEWS

RBS-Attention加速长上下文预填充

训练无关的双分支稀疏注意力同时利用块中心与半径,救回被均值稀释的关键令牌。

推荐理由:它精准处理块中心选择会漏掉少数高相关令牌的“均值稀释”,以半径分支补救且无需再训练;若加速数据扎实,容易接入现有长上下文模型。

阅读原文