实验发现小型GPT能记住单条事实,却无法组合两条事实作答,论文修复仅部分奏效。
推荐理由:实验区分了事实记忆与组合推理:训练集全记住仍不代表模型能建立跨事实连接,而所谓单行修复仅部分有效,暴露机制局限。
阅读原文