文章解释预填充、解码、KV缓存与连续批处理,并量化智能体循环的缓存收益。
推荐理由:最实用的数字是前缀缓存可把百轮智能体循环的计算量从五十五倍降至十倍;它说明长链智能体的成本关键不只在模型,而在重复上下文的缓存复用。
阅读原文