Basalt结合低比特量化与MTP草稿模型,单卡实测生成超250 tok/s。
推荐理由:同机同模型下,Basalt无草稿解码约为llama.cpp的3.5倍、启用后约5倍;新量化几乎追平BF16精度,仅牺牲少量速度。
阅读原文