AMD联手Cerebras攻低延迟推理
AMD Helios 与 Cerebras 晶圆级引擎分工处理上下文与解码,目标提升推理能效。
推荐理由:方案把提示词和大上下文吞吐交给 Helios、把解码交给 Cerebras WSE,并宣称每瓦 token 吞吐提升 5 倍,显示推理硬件竞争正走向异构分工。
AMD Helios 与 Cerebras 晶圆级引擎分工处理上下文与解码,目标提升推理能效。
推荐理由:方案把提示词和大上下文吞吐交给 Helios、把解码交给 Cerebras WSE,并宣称每瓦 token 吞吐提升 5 倍,显示推理硬件竞争正走向异构分工。