AI@NEWS

ARPL优化ARM端llama.cpp

ARPL可在ARM设备运行时检测ISA与核心拓扑,并自动配置llama.cpp参数。

推荐理由:把SDOT、I8MM、SME2和核心簇信息纳入运行时调参,可减少移动端LLM部署的机型碎片化成本,尤其适合Snapdragon 8 Elite等新ARM SoC。

阅读原文