AI@NEWS

双头优化蒸馏视觉语言模型

以双头目标将视觉语言模型的泛化能力迁移到使用未标注数据的专用模型。

推荐理由:双头设计试图隔离监督任务学习与视觉语言教师知识,减少两类目标直接竞争;若在低标注场景稳定,它能以较小专用模型承接大模型的零样本泛化。

阅读原文