AI@NEWS

评测代码模型的有害记忆

通过语义扰动后的代码重写任务,区分正常复用与无法适应变化的有害记忆。

推荐理由:该评测不再把代码相似度直接等同泄漏,而是修改任务语义后观察模型是否仍复制旧解;它更准确地区分通用编程惯例与会导致错误输出的顽固记忆。

阅读原文