AI@NEWS

16GB设备运行Qwen3.6 35B

QuarkStar称支持Qwen3.6-35B-A3B在Vulkan/Metal上以16GB常驻或SSD流式推理。

推荐理由:关键点是用Q2/Q4量化和专家流式加载,把35B级MoE推到16GB本地设备;若速度可用,会降低大模型私有推理的硬件门槛。

阅读原文