语气影响LLM推理成本
研究显示提示语气对准确率影响较小,却可让输出token成本最多相差44.3%。
推荐理由:570道MMLU、7种语气实验显示准确率最多只动2.99个百分点,但输出token可差44.3%;语气本质上是生产系统的成本与可靠性参数,需按模型单独基准化。
研究显示提示语气对准确率影响较小,却可让输出token成本最多相差44.3%。
推荐理由:570道MMLU、7种语气实验显示准确率最多只动2.99个百分点,但输出token可差44.3%;语气本质上是生产系统的成本与可靠性参数,需按模型单独基准化。