AI@NEWS

FARO:按参数块自适应分配优化预算

依据函数空间风险为各参数块选择更新几何,并动态分配优化预算。

推荐理由:FARO不再按注意力层、MLP等人工类型硬编码优化器,而以参数块实际反事实影响分配风险预算,可能改变大模型混合优化器的设计方式。

阅读原文