Beam总参数达5010亿、每次仅激活230亿,但低激活量并不等于低部署成本。
推荐理由:Beam以稀疏架构降低单次推理的激活参数量,但完整权重仍带来显存、存储和多卡通信压力,揭示模型算力效率与可部署性并非一回事。
阅读原文