AI@NEWS

双Mac Studio运行816B模型

量化版Muse-Spark-Open-816B通过llama.cpp在两台Mac Studio上运行。

推荐理由:816B总参数、42B激活模型经Q2_K量化后可在两台Mac Studio部署,显示统一内存与低比特量化正拓宽超大模型本地推理边界。

阅读原文