AI@NEWS
语言模型无梯度扰动看范数
论文指出语言模型无梯度权重扰动的关键不是维度,而是扰动范数。
推荐理由:
若有效性主要由扰动范数而非全权重搜索维度决定,无梯度适配可能从遍历巨大张量转向更低维控制,影响参数高效微调路线。
阅读原文