以注意力图边数和每令牌激活专家数分别约束长上下文扩散计算。
推荐理由：研究将注意力连接与专家激活拆成两个独立预算，并推导图结构和计算边界，避免用笼统稀疏率掩盖信息连通性损失，为扩散模型扩展长上下文提供分析框架。
阅读原文