该方案以模型空间到参数归零超曲面的Fisher测地距离衡量剪枝造成的真实变化。
推荐理由:方法从信息几何而非参数绝对值定义剪枝代价,理论上能识别数值虽小却功能关键的权重;价值取决于测地距离近似能否低成本扩展至大模型。
阅读原文