异构双显卡运行Qwen3.8-27B实测
RTX 5090与4070 Ti Super通过流水线并行,以48GB显存运行27B FP8及26万上下文。
推荐理由:异构双卡跑通27B FP8与26万上下文,短请求达81 tok/s、145K预填充约69 tok/s,证明消费级48GB显存可承载长上下文本地推理。
RTX 5090与4070 Ti Super通过流水线并行,以48GB显存运行27B FP8及26万上下文。
推荐理由:异构双卡跑通27B FP8与26万上下文,短请求达81 tok/s、145K预填充约69 tok/s,证明消费级48GB显存可承载长上下文本地推理。