16GB设备运行Qwen3.6 35B
QuarkStar称支持Qwen3.6-35B-A3B在Vulkan/Metal上以16GB常驻或SSD流式推理。
推荐理由:关键点是用Q2/Q4量化和专家流式加载,把35B级MoE推到16GB本地设备;若速度可用,会降低大模型私有推理的硬件门槛。
QuarkStar称支持Qwen3.6-35B-A3B在Vulkan/Metal上以16GB常驻或SSD流式推理。
推荐理由:关键点是用Q2/Q4量化和专家流式加载,把35B级MoE推到16GB本地设备;若速度可用,会降低大模型私有推理的硬件门槛。