AI@NEWS

单张RTX 3060并发运行35B模型

Strata用12GB RTX 3060部署量化Qwen 35B MoE,四用户并发时人均约41 token/s。

推荐理由:单卡12GB显存承载35B MoE量化模型,四路并发总吞吐达164 token/s,并兼容两类主流API;它证明低成本本地推理已能服务小团队。

阅读原文