实测通过SGLang直接读取选项概率，将本地分类延迟从1088毫秒降至6毫秒。
推荐理由：关键不是更换大模型，而是绕过自回归解码、用一次前向计算读取候选项分数；对固定标签决策任务，这能同时改善延迟、隐私和部署成本。
阅读原文