AI@NEWS
CoFiBreak提升多轮越狱攻击多样性
以粗到细的多样性奖励抑制红队攻击器坍缩到重复提示模式。
推荐理由:
只奖励攻击成功会让红队模型反复生成近似越狱词,虚高覆盖感;分层多样性奖励若不牺牲成功率,可让安全评测覆盖更多真实有害意图。
阅读原文