llama.cpp多机九卡RPC实测
作者用四台混合硬件、总90GB显存测试llama.cpp RPC-SERVER跑大MoE模型。
推荐理由:实测价值在于把老旧消费卡、AMD卡和异构网络拼成90GB显存池,验证llama.cpp RPC对本地大MoE的可行边界,但结论依赖个人硬件拓扑。
作者用四台混合硬件、总90GB显存测试llama.cpp RPC-SERVER跑大MoE模型。
推荐理由:实测价值在于把老旧消费卡、AMD卡和异构网络拼成90GB显存池,验证llama.cpp RPC对本地大MoE的可行边界,但结论依赖个人硬件拓扑。