AI@NEWS

模型维度补零实现vLLM六卡并行

修改并补齐模型维度的整除关系,可让27B模型在六张GPU上运行张量并行。

推荐理由:通过给模型维度补零以满足六卡张量并行的整除约束,可把非二次幂GPU用于27B模型并扩大KV缓存;代价是转换模型并验证数值与性能损耗。

阅读原文