双3090运行DeepSeek V4-Flash
作者用二手四路至强DDR4服务器加双RTX 3090跑起156GB官方检查点。
推荐理由:关键不在33 tok/s,而是156GB模型用廉价CPU内存承载、GPU负责加速,说明大MoE本地推理瓶颈正从显存转向内存带宽和调度工程。
作者用二手四路至强DDR4服务器加双RTX 3090跑起156GB官方检查点。
推荐理由:关键不在33 tok/s,而是156GB模型用廉价CPU内存承载、GPU负责加速,说明大MoE本地推理瓶颈正从显存转向内存带宽和调度工程。