异构双V100搭建高性能本地推理平台
16GB与32GB V100混用,运行27B Q6模型实现约1377提示词元/秒和39.9解码词元/秒。
推荐理由:异构16GB与32GB V100经张量切分、Flash Attention和NUMA分配,让27B Q6解码达39.9词元/秒,证明旧卡组合仍能支撑实用本地推理。
16GB与32GB V100混用,运行27B Q6模型实现约1377提示词元/秒和39.9解码词元/秒。
推荐理由:异构16GB与32GB V100经张量切分、Flash Attention和NUMA分配,让27B Q6解码达39.9词元/秒,证明旧卡组合仍能支撑实用本地推理。