TAPA在注意力中学习词元相关相位,以缓解RoPE固有的距离偏置。
推荐理由:论文从理论上指出RoPE会向注意力分数注入距离相关偏差;TAPA让相位随词元学习,试图在预训练阶段内生获得长程位置表达,减少事后缩放与超参重调。
阅读原文