AI@NEWS

284B MoE模型可在5GB内存运行

Mference通过SSD流式加载专家,让DeepSeek-V4-Flash 284B在约5.3GB内存中运行。

推荐理由:关键突破是把MoE稀疏激活特性工程化:核心与KV常驻、专家从SSD流式加载,使284B模型以内存换磁盘,速度虽仅4.8 tok/s但显著降低本地试验门槛。

阅读原文