训练无关的双分支稀疏注意力同时利用块中心与半径,救回被均值稀释的关键令牌。
推荐理由:它精准处理块中心选择会漏掉少数高相关令牌的“均值稀释”,以半径分支补救且无需再训练;若加速数据扎实,容易接入现有长上下文模型。
阅读原文