AAR把滑动窗口中的注意力时序与频谱特征加入路由器，仅训练路由参数即可提升表现。
推荐理由：传统MoE路由只看单个令牌隐藏态，AAR额外利用注意力窗口概括上下文；冻结主干后仍获提升，说明路由质量可独立于专家容量优化。
阅读原文