论文研究rubric-based评测中LLM裁判偏好自身或同家族模型输出的现象。
推荐理由:rubric二元判定被视为更客观,但仍存在自偏好偏差;这会污染模型迭代和自我改进评测,尤其影响用LLM裁判做训练反馈的系统。
阅读原文