DeepSeek V4.1在GB300推理提速1.42倍
单代理达848 token/s,约80 token/s时每GPU吞吐提高约1.6倍。
推荐理由:同一模型单代理速度由596升至848 token/s,增益来自内核、CUDA Graph和推测解码等系统协同,说明代理推理成本仍可被软件栈大幅压缩。
单代理达848 token/s,约80 token/s时每GPU吞吐提高约1.6倍。
推荐理由:同一模型单代理速度由596升至848 token/s,增益来自内核、CUDA Graph和推测解码等系统协同,说明代理推理成本仍可被软件栈大幅压缩。