AI@NEWS

Seq@K:评测模型利用连续反馈的能力

以K轮连续尝试衡量模型能否吸收此前反馈并最终解决问题。

推荐理由:Seq@K将每次尝试后的自然语言反馈纳入评测,不再把多次采样视为彼此独立;它能区分会从错误中修正的模型与只靠重复碰运气的模型。

阅读原文