AI@NEWS

三值大模型突破1.58比特存储下限

利用三值权重的非均匀分布编码,尝试低于传统每权重1.585比特。

推荐理由:关键在于不再假设三种权重等概率,而是利用实测符号分布压缩;若解码开销可控,将直接降低三值模型的存储与带宽成本。

阅读原文