OpenAI 系统底层优化将推理成本砍半
据 The Information,OpenAI 靠提升现有服务器利用率把推理成本降低 50%+,而非堆芯片。
推荐理由:省钱不靠新增 GPU 而靠利用率,意味着推理瓶颈在调度/批处理软件层而非算力本身;省下的钱直接转向降 API 价或提额,会压低同行定价。
据 The Information,OpenAI 靠提升现有服务器利用率把推理成本降低 50%+,而非堆芯片。
推荐理由:省钱不靠新增 GPU 而靠利用率,意味着推理瓶颈在调度/批处理软件层而非算力本身;省下的钱直接转向降 API 价或提额,会压低同行定价。