AI@NEWS

llama.cpp加速K量化CPU矩阵乘法

新分块实现借助VNNI将K量化模型的CPU提示词处理提速约3至7倍。

推荐理由:该PR以分块矩阵乘法和VNNI指令优化K量化计算,宣称CPU端提速3至7倍且复杂度增量有限,意味着无GPU本地推理的长提示词预填充瓶颈可显著缓解。

阅读原文