AI@NEWS

300B模型在M5 Air本地运行

实验者用streamed experts等技巧让DeepSeek 300B量化模型在32GB M5 Air上运行。

推荐理由:核心信号不是速度本身,而是300B级MoE通过专家流式加载能被压进消费级内存;decode约1tps仍不可用,但说明本地大模型瓶颈正从容量转向调度与缓存工程。

阅读原文