AI@NEWS

TensorFold在M5 Pro运行Qwen达40至60 TPS

用户称TensorFold在M5 Pro Mac mini上运行27B四位模型可达40至60 TPS。

推荐理由:亮点是27B四位模型配合草稿模型,在非Ultra的M5 Pro上据称达到40至60 TPS并超过MTPLX;若可复现,说明推测解码正显著改善苹果端侧大模型吞吐。

阅读原文