AI@NEWS
dRAE用超球编码离散视觉表征
dRAE用超球代码缓解高维视觉表征量化中的码本坍缩。
推荐理由:
把码本坍缩归因于欧氏目标和表征空间各向异性不匹配,转向角度分布更合理的超球编码;有助于视觉token接入语言模型。
阅读原文