AI@NEWS

DeepSeek开源生产推理引擎DeepInfer

DeepInfer以Apache 2.0发布,首版仅支持特定模型与芯片,尚非完整服务栈。

推荐理由:核心价值是开放DSpark推测解码等生产级速度层,但缺少KV缓存、推解耦和负载均衡,当前更适合研究优化而非直接替代线上服务。

阅读原文