DS V4-Flash本地三卡实测
用户用3张MI50 32GB显卡将90.9GB量化模型全放入显存,稳定生成约15-16 tok/s。
推荐理由:90.9GB UD-IQ2_M 量化模型可在96GB老卡显存内完整运行,长输出仍稳定15-16 tok/s,说明低成本多卡本地部署大模型的门槛继续下探。
用户用3张MI50 32GB显卡将90.9GB量化模型全放入显存,稳定生成约15-16 tok/s。
推荐理由:90.9GB UD-IQ2_M 量化模型可在96GB老卡显存内完整运行,长输出仍稳定15-16 tok/s,说明低成本多卡本地部署大模型的门槛继续下探。