AI@NEWS

Moonshot开源MoE通信库MoonEP

Moonshot AI开源面向MoE训练的专家并行通信库MoonEP,采用MIT许可。

推荐理由:MoE规模化瓶颈常在专家并行通信而非单纯算力;MoonEP若能降低跨节点调度和通信开销,将提升开源大模型训练栈的工程可复用性。

阅读原文