AI@NEWS

用Fisher信息距离优化神经网络剪枝

该方案以模型空间到参数归零超曲面的Fisher测地距离衡量剪枝造成的真实变化。

推荐理由:方法从信息几何而非参数绝对值定义剪枝代价,理论上能识别数值虽小却功能关键的权重;价值取决于测地距离近似能否低成本扩展至大模型。

阅读原文