作者质疑极端量化、跳过专家等条件下的高吞吐纪录,呼吁同时披露质量损失。
推荐理由:只报每秒生成速度却不提供KLD等质量指标,会把极端量化、贪心解码和专家跳过造成的能力损失隐藏起来,使本地推理纪录难以横向比较。
阅读原文