从Prefill、Decode和连续批处理解释Fast模式为何更快也更贵。
推荐理由:把Fast模式拆到推理阶段和批处理经济学,关键在于Decode受显存带宽约束、低延迟会牺牲吞吐摊销;能帮助团队判断何时为交互速度付费。
阅读原文