单机跑1M上下文DeepSeek
用户分享在 RTX 5090 与 256GB DDR5 上用 vLLM 卸载运行 DeepSeek-V4-Flash。
推荐理由：155GB级MoE权重通过CPU/RAM offloading在消费级5090上跑1M上下文，预填充约800 tps、解码15+tps，显示长上下文本地代理可用性正被内存带宽和卸载工程推进。
用户分享在 RTX 5090 与 256GB DDR5 上用 vLLM 卸载运行 DeepSeek-V4-Flash。
推荐理由：155GB级MoE权重通过CPU/RAM offloading在消费级5090上跑1M上下文，预填充约800 tps、解码15+tps，显示长上下文本地代理可用性正被内存带宽和卸载工程推进。