一个面向Kubernetes上Nvidia Triton的开源控制平面发布。
推荐理由:Triton部署痛点不在推理引擎本身,而在多模型、多租户、弹性调度和版本治理;控制平面开源说明推理运维正在产品化。
阅读原文