单机运行DeepSeek大MoE
作者分享用vLLM-Moet和2-bit量化在DGX Spark本地运行155GB MoE模型的经验。
推荐理由：实质信息是155GB级MoE可通过2-bit量化压到单台DGX Spark运行，但仍需ARM64重编译、改GPU检查和调上下文，显示本地部署门槛仍偏工程化。
作者分享用vLLM-Moet和2-bit量化在DGX Spark本地运行155GB MoE模型的经验。
推荐理由：实质信息是155GB级MoE可通过2-bit量化压到单台DGX Spark运行，但仍需ARM64重编译、改GPU检查和调上下文，显示本地部署门槛仍偏工程化。