llama.cpp部署Qwen Flash Next实测
三张AMD显卡运行Q4模型,262K上下文生成达19至21 token/s,手动设上下文反而降速。
推荐理由:实测表明16GB专家缓存可支撑262K上下文并维持19至21 token/s,但显式设置上下文会降至8 token/s,暴露llama.cpp分配路径的性能异常。
三张AMD显卡运行Q4模型,262K上下文生成达19至21 token/s,手动设上下文反而降速。
推荐理由:实测表明16GB专家缓存可支撑262K上下文并维持19至21 token/s,但显式设置上下文会降至8 token/s,暴露llama.cpp分配路径的性能异常。