AI@NEWS

Step-dLLM按去噪阶段动态稀疏注意力

Step-dLLM按去噪步骤与注意力头自适应分配稀疏预算,降低扩散大模型推理的重复计算。

推荐理由:扩散语言模型无法沿用自回归模型的KV缓存,每轮去噪都承担全量二次注意力成本;该方法按步骤和注意力头动态调整稀疏模式,切中其推理效率的核心瓶颈。

阅读原文