AI@NEWS

重尾噪声与弱光滑条件下的SGD收敛

论文在梯度仅具有限低阶矩、目标为Hölder光滑时给出非凸优化收敛结果。

推荐理由:理论贡献是同时放松有限方差噪声与Lipschitz光滑两项经典假设,并给出标准SGD的显式速率,覆盖更贴近深度训练的重尾情形。

阅读原文