Hugging Face发布系统化MoE训练手册

团队以约80万GPU小时实验总结MoE路由、负载均衡、通信与部署实践。

推荐理由：约80万GPU小时的实验表明，MoE省的是激活计算而非权重显存，通信可占训练步近半且错误配置会慢约25倍；工程瓶颈实质在路由与集群网络。