AI@NEWS

Loopie复用Transformer层扩容

Loopie通过重复使用同一Transformer层节省显存,并把预算转为更宽模型容量。

推荐理由:关键不是循环层概念本身,而是把省下的显存换成更宽网络;在同等训练时间下超过更大常规Transformer,指向参数复用的新扩展路径。

阅读原文