Loopie复用Transformer层扩容
Loopie通过重复使用同一Transformer层节省显存,并把预算转为更宽模型容量。
推荐理由:关键不是循环层概念本身,而是把省下的显存换成更宽网络;在同等训练时间下超过更大常规Transformer,指向参数复用的新扩展路径。
Loopie通过重复使用同一Transformer层节省显存,并把预算转为更宽模型容量。
推荐理由:关键不是循环层概念本身,而是把省下的显存换成更宽网络;在同等训练时间下超过更大常规Transformer,指向参数复用的新扩展路径。