跨11个数据集和三种骨干验证,有信息的通道分配优于等容量共享与随机分配。
推荐理由:受控实验排除了单纯扩容解释,显示合理的通道到专家分配本身带来预测增益;这意味着时序MoE的关键设计变量是稳定专门化,而非专家数量。
阅读原文