AI@NEWS

大内存EPYC服务器显著提升推理吞吐

实测EPYC平台搭配多张RTX 3090,Qwen量化模型吞吐最高达456 token/s。

推荐理由:实测Qwen量化模型在单并发达94 token/s、八并发达456 token/s,表明大内存、充足PCIe带宽与多卡配置对高并发本地推理的收益十分显著。

阅读原文