AI@NEWS

DGX Spark上MoE推理吞吐提升近三倍

组合MXFP4后端、FP8输出头和MTP推测解码后,吞吐由36.09升至102.88 tok/s。

推荐理由:三项优化中MTP推测解码贡献最大,最终将单token延迟从27.71毫秒降至9.72毫秒、吞吐提升185.1%;说明小型DGX系统的瓶颈可由解码策略显著缓解。

阅读原文