通过调整活跃注意力头数，在单一权重内形成适配不同算力的嵌套子网。
推荐理由：模型以活跃MQA头数联动缩放嵌入、注意力、前馈层和输出头，使一套权重覆盖云端到边缘；这可减少多规格模型分别训练和维护的成本。
阅读原文