DFlash2在llama.cpp平均提速17%
DFlash2已获llama.cpp支持,测试几何平均速度提升17%,但不同任务差异明显。
推荐理由:实测几何平均吞吐从75.1升至87.9 tokens/s,列表任务提升39%,散文反降3%;说明投机解码收益高度依赖任务及接受率,不能只看均值。
DFlash2已获llama.cpp支持,测试几何平均速度提升17%,但不同任务差异明显。
推荐理由:实测几何平均吞吐从75.1升至87.9 tokens/s,列表任务提升39%,散文反降3%;说明投机解码收益高度依赖任务及接受率,不能只看均值。