AI@NEWS

双7900 XTX运行Qwen解码提速近三倍

社区优化版llama.cpp据称将双7900 XTX上的Qwen Q8解码从28提升至82 token/s。

推荐理由:社区实测显示,针对双RDNA3显卡优化后,六万上下文下解码吞吐提升近三倍,说明消费级AMD多卡推理仍有显著的软件栈优化空间。

阅读原文