AI@NEWS

Kimi-k3本地运行实测

用户在双RTX 6000 PRO工作站上运行Kimi-k3,但生成速度仅约0.23 tok/s。

推荐理由:即使用双96GB显存、512GB内存和高速NVMe,Kimi-k3仍只有0.23 tok/s,说明超大开权重模型本地可运行不等于可交互使用,瓶颈已转向吞吐和分布式推理。

阅读原文