AI@NEWS

Cursor开源MoE训练内核

Cursor发布Mixture-of-Kittens内核,声称可让MoE训练TFLOP/s接近翻倍。

推荐理由:MoE瓶颈常在路由和专家并行开销,若单内核显著提升吞吐,会直接降低稀疏模型训练成本,利好中小团队训MoE。

阅读原文