AI@NEWS

Slipstream让百GB模型登陆64GB Mac

Slipstream以SSD专家流式加载和推测解码,在64GB Mac实现41至52词元每秒。

推荐理由:该引擎将95.5GiB模型塞进64GB统一内存设备,并较llama.cpp提速1.76倍;这验证了SSD专家流式加载可拓宽本地MoE部署边界。

阅读原文