AI@NEWS

SinkPruner移除高范数冗余视觉词元

研究发现高范数异常视觉词元高度冗余,并据此改进多模态模型剪枝。

推荐理由:现有剪枝常把高范数词元误判为重要信息,论文指出它们在视觉和语义层面均高度冗余;识别并去除这类“汇点”可直接压低推理开销。

阅读原文