Halogen修复百万上下文性能退化
0.12.0版在Strix Halo上将百万上下文解码提至38.3 tok/s,冷预填降至17.9分钟。
推荐理由:同机对比显示,百万上下文解码由27.3升至38.3 tok/s,冷预填缩短3.3分钟;长上下文退化已明显修复,但数据仅为单次冷请求。
0.12.0版在Strix Halo上将百万上下文解码提至38.3 tok/s,冷预填降至17.9分钟。
推荐理由:同机对比显示,百万上下文解码由27.3升至38.3 tok/s,冷预填缩短3.3分钟;长上下文退化已明显修复,但数据仅为单次冷请求。