AI@NEWS

dRAE用超球编码离散视觉表征

dRAE用超球代码缓解高维视觉表征量化中的码本坍缩。

推荐理由:把码本坍缩归因于欧氏目标和表征空间各向异性不匹配,转向角度分布更合理的超球编码;有助于视觉token接入语言模型。

阅读原文