路由器综合输入长度、输出预测、准入后KV压力和SLO,为请求估计各实例增量完成时间。
推荐理由:研究把路由目标落到每个实例的边际完成时间,并在8张A40与vLLM上校准验证;说明解耦推理的下一步收益更多来自状态感知调度。
阅读原文