以分层树状索引选择稀疏注意力位置,试图突破长上下文注意力的二次瓶颈。
推荐理由:关键突破是让稀疏注意力的索引过程本身也低于二次复杂度,而非仅减少计算常数;若保持表达能力,可实质改善超长上下文扩展效率。
阅读原文