利用模型路由器提前两层预测专家,可在低内存Mac上预加载MoE权重。
推荐理由:方案复用MoE自身路由器,以当前隐藏状态预判后两层专家并并行预取,无需额外预测模型便获得逾10%加速;它直接缓解硬盘卸载的读取等待。
阅读原文