双GH200跑出SGLang高吞吐
作者分享双GH200上优化DSv4-Flash推理吞吐的配置与补丁。
推荐理由:双GH200在1M上下文和192GB HBM约束下,SGLang解码达317 tok/s,高于vLLM约276 tok/s;关键在缓存布局补丁、关闭异步调度和DSpark预测token配置。
作者分享双GH200上优化DSv4-Flash推理吞吐的配置与补丁。
推荐理由:双GH200在1M上下文和192GB HBM约束下,SGLang解码达317 tok/s,高于vLLM约276 tok/s;关键在缓存布局补丁、关闭异步调度和DSpark预测token配置。