亚马逊发布GPU感知推理网关

该EKS原生网关按实时GPU状态路由请求，首Token延迟最多降低82%。

推荐理由：它把实时GPU负载感知下沉到EKS路由层，无需改动模型服务和客户端即可将首Token延迟最多降低82%，表明推理优化正转向基础设施调度。