AI@NEWS

自改进Agent会悄然侵蚀冗余防线

研究发现验收门只看当前任务表现时,会接受删除表面无影响但承担冗余保护的安全规则。

推荐理由:四项重叠防护中的单项删除会被其余规则掩盖,导致自改进过程逐步耗尽安全余量;验收必须测试防护失效组合而非仅测成功率。

阅读原文