7900 XTX本地跑27B模型实测40 tok/s
用户以Q4_K_M量化Qwen 27B在旧平台实现约900 tok/s预填充、40 tok/s解码,并独立卸载视觉模块。
推荐理由:单卡7900 XTX在24万上下文负载下仍实现约40 tok/s解码,辅以2060独立承载视觉投影,说明消费级异构显卡已能支撑稳定的长程编码代理。
用户以Q4_K_M量化Qwen 27B在旧平台实现约900 tok/s预填充、40 tok/s解码,并独立卸载视觉模块。
推荐理由:单卡7900 XTX在24万上下文负载下仍实现约40 tok/s解码,辅以2060独立承载视觉投影,说明消费级异构显卡已能支撑稳定的长程编码代理。