作者在Qwen微调模型量化中发现,单独权重组测试无法预测组合后的真实退化。
推荐理由:关键发现是逐权重组KLD量化看似安全,但合并应用后出现单项测试未预测的退化,提示开源量化不能只看局部误差,必须验证完整模型行为。
阅读原文