AI@NEWS

细粒度MoE可高效投机解码

Cohere研究发现相邻token共享20%至45%专家,使单批次投机解码仍具收益。

推荐理由:实测10个300亿至1万亿参数模型发现专家共享远高于预期的4%至12%,推翻低批量收益有限的判断,并直接降低MoE验证多token的访存成本。

阅读原文