AI@NEWS

单卡RTX 5080运行Qwen3.8实测

Basalt结合低比特量化与MTP草稿模型,单卡实测生成超250 tok/s。

推荐理由:同机同模型下,Basalt无草稿解码约为llama.cpp的3.5倍、启用后约5倍;新量化几乎追平BF16精度,仅牺牲少量速度。

阅读原文