AI@NEWS

Astera推出面向AI推理的专用内存层

Leo新品支持CXL 3.2及内存池化,并为GPU卸载KV Cache与智能体上下文。

推荐理由:Leo X把KV缓存从GPU本地显存迁入专用内存层,宣称首词元延迟最多降62%、吞吐增22%,反映推理瓶颈正转向内存架构。

阅读原文