大内存EPYC服务器显著提升推理吞吐
实测EPYC平台搭配多张RTX 3090,Qwen量化模型吞吐最高达456 token/s。
推荐理由:实测Qwen量化模型在单并发达94 token/s、八并发达456 token/s,表明大内存、充足PCIe带宽与多卡配置对高并发本地推理的收益十分显著。
实测EPYC平台搭配多张RTX 3090,Qwen量化模型吞吐最高达456 token/s。
推荐理由:实测Qwen量化模型在单并发达94 token/s、八并发达456 token/s,表明大内存、充足PCIe带宽与多卡配置对高并发本地推理的收益十分显著。