AI@NEWS

llama.cpp补齐AMD GCN矩阵量化配置

ggml-cuda HIP后端新增AMD GCN的MMQ配置,并给出MI50、MI60性能数据。

推荐理由:该补丁补齐AMD旧款GCN加速卡的量化矩阵乘配置,并以MI50、MI60验证提示处理吞吐,扩大低成本硬件部署覆盖面。

阅读原文