AI@NEWS

AMD发布Instella-MoE模型

AMD推出16B总参数、2.8B激活参数的Instella-MoE系列开源模型。

推荐理由:Instella-MoE的实质不只是16B小型MoE,而是AMD用自家GPU和软件完成训练并开放多阶段检查点,意在验证ROCm生态能支撑完整大模型训练链路。

阅读原文