SGLang推理框架源码解析
文章从进程架构、源码目录和RadixAttention等角度分析SGLang Runtime。
推荐理由:SGLang的多进程SRT和RadixAttention是其高吞吐服务的核心,源码拆解能帮助判断它与vLLM在缓存复用和服务架构上的差异。
文章从进程架构、源码目录和RadixAttention等角度分析SGLang Runtime。
推荐理由:SGLang的多进程SRT和RadixAttention是其高吞吐服务的核心,源码拆解能帮助判断它与vLLM在缓存复用和服务架构上的差异。