AI@NEWS

英伟达以全栈分层内存破解推理瓶颈

通过NVFP4、跨GPU权重分布及上下文迁移,宣称每美元智能体吞吐最高增30倍。

推荐理由:方案不再依赖扩充稀缺HBM,而以压缩、LPDDR缓冲和上下文分层迁移提升利用率;若30倍成本吞吐成立,推理竞争将转向整机协同效率。

阅读原文