AI@NEWS

用智能体软令牌压缩长程上下文

模型内部生成软令牌压缩历史,以降低长程智能体的上下文成本与信息损失。

推荐理由:方法让模型依据自身动态表征生成软令牌记忆,避免外部摘要器把上下文改写成有损文本;若能稳定训练,将直接改善长任务的算力与证据保真矛盾。

阅读原文