RTX 3060运行超大MoE模型的实践
通过SSD与内存分层流式加载，RTX 3060据称实现19 tok/s解码和62 tok/s预填充。
推荐理由：实质突破是让约416GB的Q8量化MoE在12GB显存消费卡上达到可用吞吐，并缓解预填充瓶颈；这证明分层加载可显著下放超大模型推理门槛。
通过SSD与内存分层流式加载，RTX 3060据称实现19 tok/s解码和62 tok/s预填充。
推荐理由：实质突破是让约416GB的Q8量化MoE在12GB显存消费卡上达到可用吞吐，并缓解预填充瓶颈；这证明分层加载可显著下放超大模型推理门槛。