AI@NEWS

用iPhone协同Mac加速本地大模型推理

作者经10Gbps USB-C将模型层分配至iPhone,使27B模型预填充提速29%至44%。

推荐理由:把手机内存与算力纳入流水线并分担上下文,使24GB Mac运行27B模型的预填充快29%至44%;证明消费设备协同可缓解本地推理瓶颈。

阅读原文