六块退役矿板通过Vulkan与千兆网RPC运行量化模型,长上下文下实现24至60 tok/s。
推荐理由:实测证明退役矿板可低成本承载十万上下文本地推理,但千兆网络与量化精度决定吞吐上限,为异构旧硬件集群提供了可复现的性能基线。
阅读原文