MoRE让相邻层共享专家池、各自保留路由器，以更低内存获得更多路由组合。
推荐理由：它将MoE的专家容量与逐层参数增长解耦：共享专家池压低内存，每层独立路由又保留组合多样性，为大模型扩容提供新的参数效率杠杆。
阅读原文