Meta与MIT发现循环复用全栈或中间层,可用少量适配器换取更深计算。
推荐理由:循环层以重复计算换取参数效率,全栈循环在固定规模下质量最佳,中层循环更适合训练算力受限;适配器仅增1.1%至4.3%参数,远低于加倍深度。
阅读原文