文章讨论LLM专用推理端点如何选择扩缩容指标、窗口与冷启动预算。
推荐理由：抓住了生产推理的真实瓶颈：GPU利用率正常并不代表排队健康，而副本预热需数分钟；扩缩容应围绕队列、延迟和冷启动成本设计。
阅读原文