单张RTX 3060并发运行35B模型
Strata用12GB RTX 3060部署量化Qwen 35B MoE,四用户并发时人均约41 token/s。
推荐理由:单卡12GB显存承载35B MoE量化模型,四路并发总吞吐达164 token/s,并兼容两类主流API;它证明低成本本地推理已能服务小团队。
Strata用12GB RTX 3060部署量化Qwen 35B MoE,四用户并发时人均约41 token/s。
推荐理由:单卡12GB显存承载35B MoE量化模型,四路并发总吞吐达164 token/s,并兼容两类主流API;它证明低成本本地推理已能服务小团队。