逐模块识别INT4量化脆弱点,在降低部署能耗时保护关键推理能力。
推荐理由:研究扫描约196至224个层与投影组合,并用五类推理基准及GPU实测能耗定位INT4脆弱模块;结果指向非均匀量化,而非继续依赖统一精度配方。
阅读原文