依据函数空间风险为各参数块选择更新几何,并动态分配优化预算。
推荐理由:FARO不再按注意力层、MLP等人工类型硬编码优化器,而以参数块实际反事实影响分配风险预算,可能改变大模型混合优化器的设计方式。
阅读原文