联合校准反向需求、保留配额与专家放置,缓解稀疏MoE训练的负载失衡。
推荐理由:关键变化是把反向计算需求纳入前向阶段的显存预算,联合决定保留量和专家布局;这比单纯复制专家更适合显存紧张的训练节点。
阅读原文