AI@NEWS

双显卡27GB显存运行30B级本地模型

用户以GTX 1080 Ti加140美元MI50,通过Vulkan让30B至35B模型主要驻留显存。

推荐理由:用不足140美元的MI50把总显存扩至27GB,并借Vulkan避开异构驱动冲突,可运行多数30B至35B模型;展示了低成本本地推理的实用途径。

阅读原文