SageMaker端点支持多实例GPU
SageMaker推理端点现可用NVIDIA MIG隔离分割GPU,并为模型分配适配容量。
推荐理由:新增两个可选API字段即可让不同模型独占MIG分区,把整卡部署改为硬件隔离的细粒度调度;这有望减少小模型端点的显存浪费和单位推理成本。
SageMaker推理端点现可用NVIDIA MIG隔离分割GPU,并为模型分配适配容量。
推荐理由:新增两个可选API字段即可让不同模型独占MIG分区,把整卡部署改为硬件隔离的细粒度调度;这有望减少小模型端点的显存浪费和单位推理成本。