AI@NEWS

llama.cpp双GPU显存分配失衡

用户调整tensor-split时显存占用出现非线性跳变,始终有逾1GB容量无法利用。

推荐理由:两张GPU的显存占用会在微调分割比例后跳变约2GB,说明权重或MTP相关张量按整层放置而非连续切分;瓶颈在分片粒度,单靠tensor-split难以抹平。

阅读原文