AI@NEWS

算力增速持续拉大AI内存墙

两年算力约增三倍而HBM带宽不足两倍,业界正转向近存储与存内计算缓解瓶颈。

推荐理由:算力与带宽增速差正把推理瓶颈推向内存系统;三星存内计算在Llama 3.1 8B上实现3.01倍吞吐,显示架构迁移已具实测收益。

阅读原文