AI@NEWS

用下一词预测实现测试时训练

研究以提示词自身的下一词预测损失,让现有长上下文模型在推理时原位适应。

推荐理由:关键变化是把每个提示词都转化为自监督训练信号,并直接更新预训练模型的快速权重;这绕过专用TTT架构,为已发布模型按上下文即时适应提供了可迁移路径。

阅读原文