SalQ-VLM针对视觉语言模型激活特性实施细粒度显著性引导的训练后量化。
推荐理由:研究从视觉表征在激活中的特殊分布出发分配量化精度,而非沿用语言模型统一压缩策略;这有助于在受限设备上兼顾视觉信息保真与推理成本。
阅读原文