研究发现高范数异常视觉词元高度冗余,并据此改进多模态模型剪枝。
推荐理由:现有剪枝常把高范数词元误判为重要信息,论文指出它们在视觉和语义层面均高度冗余;识别并去除这类“汇点”可直接压低推理开销。
阅读原文