27B量化模型以16GB显存刷新榜单
Qwen 27B量化版在单张RX 9070上取得88.84分和约31.7 tokens/s。
推荐理由:该量化模型在16GB显存、96K上下文配置下拿到社区榜最高88.84分,且保持约31.7 tokens/s,显示GSQ-RCO可能显著改善本地模型的质量—成本曲线。
Qwen 27B量化版在单张RX 9070上取得88.84分和约31.7 tokens/s。
推荐理由:该量化模型在16GB显存、96K上下文配置下拿到社区榜最高88.84分,且保持约31.7 tokens/s,显示GSQ-RCO可能显著改善本地模型的质量—成本曲线。