AI@NEWS

分离状态存储与词元预测

新Transformer以两条计算流分别承担内部状态维护和下一词元预测,并报告更高效率。

推荐理由:标准Transformer让同一残差流同时保存未来状态并服务当前预测,可能产生目标干扰;分流架构若在多尺度预训练中持续提高数据与算力效率,会触及骨干设计本身。

阅读原文