单卡5080运行Qwen3.8优化求助
用户分享128GB内存加单卡RTX 5080运行不同量化版本的实测速率并寻求优化。
推荐理由:实测显示单卡16GB显存配合128GB内存可承载262K上下文,Q5量化约19 token/s;瓶颈与量化取舍对本地部署具有直接参考意义。
用户分享128GB内存加单卡RTX 5080运行不同量化版本的实测速率并寻求优化。
推荐理由:实测显示单卡16GB显存配合128GB内存可承载262K上下文,Q5量化约19 token/s;瓶颈与量化取舍对本地部署具有直接参考意义。