AI@NEWS

异构双显卡运行Qwen3.8-27B实测

RTX 5090与4070 Ti Super通过流水线并行,以48GB显存运行27B FP8及26万上下文。

推荐理由:异构双卡跑通27B FP8与26万上下文,短请求达81 tok/s、145K预填充约69 tok/s,证明消费级48GB显存可承载长上下文本地推理。

阅读原文