重新核算联邦LoRA双向通信,并依据通信状态自适应切换聚合阶段。
推荐理由:论文指出既有节省估算漏算模式切换轮次及分组查询注意力形状,并统一比较五种方法;这使联邦LoRA优化从参数量口径转向真实上下行字节。
阅读原文