AI@NEWS

HyperPod模型缓存将冷启动降至秒级

HyperPod把权重和镜像预载至节点本地NVMe,使推理冷启动从数十分钟缩短到数秒。

推荐理由:核心变化是将权重与容器镜像从网络下载改为节点本地读取,把冷启动由数十分钟压至秒级,直接改善弹性扩缩容与故障恢复效率。

阅读原文