Leo新品支持CXL 3.2及内存池化,并为GPU卸载KV Cache与智能体上下文。
推荐理由:Leo X把KV缓存从GPU本地显存迁入专用内存层,宣称首词元延迟最多降62%、吞吐增22%,反映推理瓶颈正转向内存架构。
阅读原文