AI@NEWS

20B MoE模型实现MXFP4稳定训练

ALTO给出GPT-OSS-20B在MXFP4下缩小与BF16差距的开源训练方案。

推荐理由:ALTO针对FP4量化误差导致的优化不稳,给出20B混合专家模型的开源训练配方并对齐BF16;若吞吐与精度数据扎实,将直接改善低精度预训练经济性。

阅读原文