AI@NEWS

六块BC-250矿板搭建本地推理集群

六块退役矿板通过Vulkan与千兆网RPC运行量化模型,长上下文下实现24至60 tok/s。

推荐理由:实测证明退役矿板可低成本承载十万上下文本地推理,但千兆网络与量化精度决定吞吐上限,为异构旧硬件集群提供了可复现的性能基线。

阅读原文