ARC成绩因记忆设置被低估
研究称开启两项API记忆相关设置后,ARC-AGI-3得分提升三倍且输出token减少六倍。
推荐理由:关键不在模型推理能力本身,而在评测harness限制了跨尝试学习;两项API设置带来3倍得分和6倍token节省,说明ARC类任务对状态保持机制极敏感。
研究称开启两项API记忆相关设置后,ARC-AGI-3得分提升三倍且输出token减少六倍。
推荐理由:关键不在模型推理能力本身,而在评测harness限制了跨尝试学习;两项API设置带来3倍得分和6倍token节省,说明ARC类任务对状态保持机制极敏感。