AI@NEWS

llama.cpp多机九卡RPC实测

作者用四台混合硬件、总90GB显存测试llama.cpp RPC-SERVER跑大MoE模型。

推荐理由:实测价值在于把老旧消费卡、AMD卡和异构网络拼成90GB显存池,验证llama.cpp RPC对本地大MoE的可行边界,但结论依赖个人硬件拓扑。

阅读原文