生物基础模型的高效MoE训练

研究探讨以混合专家架构降低生物基础模型扩展时的训练计算成本。

推荐理由：研究将稀疏MoE引入生物基础模型，使每个样本仅激活部分专家，有望绕开稠密模型随规模增长而同步攀升的计算成本。