L0-MoE以正则化稀疏专家改造稠密模型,目标是近无损降低推理成本。
推荐理由:方案试图用L0正则把稠密模型轻量转成稀疏专家结构,并配合领域数据筛选和动态批处理;若“近无损加速”经多规模验证,将提供低成本MoE迁移路径。
阅读原文