AI@NEWS

RTX 3090本地运行27B模型达百Token每秒

开发者称RTX 3090运行Qwen 27B约100t/s,速度约为M5 Pro MacBook的五倍。

推荐理由:个体实测显示,旧款RTX 3090部署量化27B模型仍可达到约100t/s,提示高显存消费卡已能支撑开发者用本地推理替代部分云端订阅。

阅读原文