AI@NEWS

剪枝模型可用推理时扩展补回准确率

部分大幅剪枝模型虽单次准确率下降,但在相同采样预算下仍保有原模型的解题覆盖。

推荐理由:pass@1下降不等于推理能力消失;若pass@k覆盖仍在,剪枝主要降低正确答案采样概率,可用更多推理时采样换回表现,改变压缩模型的评估方式。

阅读原文