AI@NEWS

消费级主机将代理会话启动提速20倍

作者修改Strata,在16GB游戏显卡与64GB DDR4主机上离线运行长上下文DeepSeek。

推荐理由:补丁把闲置系统内存用于模型分层加载,宣称让DeepSeek代理会话启动提速20倍;若结果可复现,意味着长上下文本地推理不必完全依赖数据中心显卡。

阅读原文