让不同注意力头处理不同时间分辨率,缓解固定容量记忆的表示瓶颈。
推荐理由:MS-GLA将注意力头分配到多种时间尺度,避免同一固定容量记忆同时承载局部语法与长程语义,为线性注意力扩大有效上下文提供新路径。
阅读原文