FlashKDA开源加速Delta Attention
Moonshot开源CUTLASS版Kimi Delta Attention内核,H20上预填充提速1.72至2.22倍。
推荐理由:FlashKDA把Kimi Delta Attention落到H20可用的高性能内核,prefill提速最高2.22倍;这直接指向长上下文和推理成本瓶颈,而非单纯模型指标。
Moonshot开源CUTLASS版Kimi Delta Attention内核,H20上预填充提速1.72至2.22倍。
推荐理由:FlashKDA把Kimi Delta Attention落到H20可用的高性能内核,prefill提速最高2.22倍;这直接指向长上下文和推理成本瓶颈,而非单纯模型指标。