AI@NEWS

开源推理测速正在失去可比性

作者质疑极端量化、跳过专家等条件下的高吞吐纪录,呼吁同时披露质量损失。

推荐理由:只报每秒生成速度却不提供KLD等质量指标,会把极端量化、贪心解码和专家跳过造成的能力损失隐藏起来,使本地推理纪录难以横向比较。

阅读原文