AI@NEWS

GAUSS:面向工作负载的LLM服务模拟器

联合分析与蒙特卡洛方法模拟预填充、解码、连续批处理及尾延迟表现。

推荐理由:GAUSS超越单一吞吐指标,把预填充与解码差异、连续批处理和用户侧尾延迟纳入容量模拟;可在实际扩容前评估不同负载下的SLO风险。

阅读原文