sqliteai开源C推理引擎，通过NVMe流式加载专家权重运行2.78T参数Kimi K3。
推荐理由：WASTE将MoE激活专家从NVMe按需流式读取，只把主干和缓存留在内存，实质是在牺牲延迟下突破超大模型本地RAM门槛。
阅读原文