AI@NEWS

大模型涌现的重分词对称性

仅用规范分词训练的模型,仍部分涌现出对等价 token 切分的对称性。

推荐理由:发现模型仅用规范分词训练,下游仍部分涌现对等价切分的对称性——意味分词冗余可被利用来提升表现,挑战『只认规范分词』的直觉。

阅读原文