AI@NEWS

按服务延迟自适应分配推理算力

该方法把实时服务器负载纳入Best-of-N停止策略,动态权衡回答质量与延迟。

推荐理由:关键不是再按固定奖励阈值决定采样次数,而是根据负载变化计算延迟成本:空闲时多探索、拥塞时早停止,使测试时算力策略从离线指标走向在线服务目标。

阅读原文