ARPL优化ARM端llama.cpp
ARPL可在ARM设备运行时检测ISA与核心拓扑,并自动配置llama.cpp参数。
推荐理由:把SDOT、I8MM、SME2和核心簇信息纳入运行时调参,可减少移动端LLM部署的机型碎片化成本,尤其适合Snapdragon 8 Elite等新ARM SoC。
ARPL可在ARM设备运行时检测ISA与核心拓扑,并自动配置llama.cpp参数。
推荐理由:把SDOT、I8MM、SME2和核心簇信息纳入运行时调参,可减少移动端LLM部署的机型碎片化成本,尤其适合Snapdragon 8 Elite等新ARM SoC。