AI@NEWS

三项优化令MoE推理吞吐提升42.5%

英伟达在单台DGX Spark上叠加三项优化,使Ling-3.0-flash解码吞吐提升42.5%。

推荐理由:在单台DGX Spark运行124B参数MoE模型时,三项叠加优化将GSM8K解码吞吐提高42.5%,且未检测到精度变化,证明桌面级设备仍有显著推理优化空间。

阅读原文