Moonshot AI开源面向MoE训练的专家并行通信库MoonEP,采用MIT许可。
推荐理由:MoE规模化瓶颈常在专家并行通信而非单纯算力;MoonEP若能降低跨节点调度和通信开销,将提升开源大模型训练栈的工程可复用性。
阅读原文