AI@NEWS
三值大模型突破1.58比特存储下限
利用三值权重的非均匀分布编码,尝试低于传统每权重1.585比特。
推荐理由:
关键在于不再假设三种权重等概率,而是利用实测符号分布压缩;若解码开销可控,将直接降低三值模型的存储与带宽成本。
阅读原文