百度开源280B稀疏MoE基座模型
ERNIE 5.5 Flash Base开放预训练权重,以14B激活参数支持最高1M上下文。
推荐理由:以280B总参数、单词元激活14B完成33.5T词元预训练,并开放未经后训练的原始权重,为领域微调和训练方法研究提供了可复现的大型MoE起点。
ERNIE 5.5 Flash Base开放预训练权重,以14B激活参数支持最高1M上下文。
推荐理由:以280B总参数、单词元激活14B完成33.5T词元预训练,并开放未经后训练的原始权重,为领域微调和训练方法研究提供了可复现的大型MoE起点。