自定义V100内核引发NaN,导致除两层外梯度归零,训练损失曲线却仍具迷惑性。
推荐理由:案例揭示损失曲线正常并不等于训练有效:NaN让绝大多数层梯度归零,仅两层更新仍伪造出可解释趋势;训练管线应逐层核验梯度与参数变化。
阅读原文