TQ无需校准数据即可执行4比特量化,作者公布Qwen模型初步指标并开源代码。
推荐理由:其关键主张是模型发布后无需准备校准集即可立即量化;Qwen 27B的4比特结果接近校准法,但目前仅有作者指标,泛化优势仍待独立复现。
阅读原文