论文品读：Stability Based Filter Pruning for Accelerating Deep CNNs

绝地灬酷狼 2022-03-26 08:46 261阅读 0赞

2018年的论文，提出了一种新的评价卷积核重要程度的方式。

主要思想是比较改变损失函数前后训练得到的两套参数，如果某个位置的参数改变的幅度大，就认为该参数是敏感的不稳定的，那就是不重要的，优先裁剪。

具体过程如下

1.正常训练得到基础模型参数。

2.改变损失函数并训练1到3个epoch得到新的模型参数，新的损失函数为左边公式的L，C是原始损失函数，K代表网络有几层，S通过右边公式得到。右边公式的 $f\_\{j,l\}^\{i\}$ 代表网络的第i层第j个卷积核的第l个点的值。左边示意图中的红色的值应该用 $f\_\{1,1\}^\{i\}$ 表示，代表第i层第一个卷积核的第一个点的值，右图应该用 $f\_\{2,2\}^\{i\}$ 表示，代表第i层第2个卷积核的第2个点的值。公式中的Ⅱ的含义是，如果括号里的表示成立则为1，否则为0.

，

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hzcXlj_size_16_color_FFFFFF_t_70

3.然后对于某层的某个卷积核，后参数所有点的值的和的绝对值跟前参数所有点的值的和的绝对值的比值作为衡量该层该卷积核的重要性，比值大的就认为是不稳定的是不重要的。

4.每次裁剪之后微调2-5个epochs

但是问题是作者只给出了某个层内的各个卷积核的重要性对比，没有给出层间的重要性比较方式，而且论文还直接指定了每层要裁剪的通道个数？？？

发表评论取消回复

表情：

评论列表（有 0 条评论，261人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spatial As Deep: Spatial CNN for Traffic Scene Understanding论文翻译

Spatial As Deep: Spatial CNN for Traffic Scene Understanding论文翻译 Abstract摘要 Convo

阳光穿透心脏的1/2处/ 2024年02月19日 21:22/ 0 赞/ 116 阅读

相关《FPGM：Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration》论文笔记

参考代码：[filter-pruning-geometric-median][] 1. 概述 > 导读：在之前的网络剪枝文章中一般将网络filter的范数作为其重要性度

ゞ浴缸里的玫瑰/ 2023年03月01日 10:09/ 0 赞/ 33 阅读

相关论文品读：Network Trimming: A Data-Driven Neuron Pruning Approach towards Efficient Deep Architectures

[http://cn.arxiv.org/abs/1607.03250][http_cn.arxiv.org_abs_1607.03250] 文章介绍了一种新的评价参数是否需

迷南。/ 2022年04月22日 04:18/ 0 赞/ 249 阅读

相关论文品读：Pruning filters for effecient convnets

[https://arxiv.org/abs/1608.08710][https_arxiv.org_abs_1608.08710] 本文提出了一种基于L1的通道裁剪的方法，

深碍√TFBOYSˉ_/ 2022年04月17日 05:10/ 0 赞/ 242 阅读

相关《Channel Pruning for Accelerating Very Deep Neural Networks》论文笔记

1. 概述这篇文章提出了一种基于LASSO回归的通道选择和最小二乘重构的迭代两步算法，有效地对每一层进行修剪。并进一步将其推广到多层和多分枝的场景下。论文中的方法能够减

怼烎@/ 2022年04月10日 06:07/ 0 赞/ 415 阅读

相关《Pruning Filters for Efficient Convnets》论文笔记

1. 概述 CNN网络经被在众多方面展现了其成功，但是随之而来的是巨大的计算量与参数存储空间。这篇论文中给出一种剪除卷积滤波器的方法（确实会影响精度），但是移除这些滤波器

骑猪看日落/ 2022年04月10日 06:00/ 0 赞/ 369 阅读

相关论文品读：Pruning Convolutional Neural Networks for Resource Efficient Inference

模型裁剪系列相关论文品读博客： 1.论文品读：Learning both Weights and Connections for Efficient Neural Ne

朱雀/ 2022年04月06日 05:05/ 0 赞/ 295 阅读

相关《Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks》论文笔记

1. 概述这篇文章中给出了一种叫作SFP（Soft Filter Pruning），它具有如下两点优点： 1）Larger model capacity。相比直接剪

╰半橙微兮°/ 2022年04月01日 08:39/ 0 赞/ 439 阅读

相关论文品读：Stability Based Filter Pruning for Accelerating Deep CNNs

2018年的论文，提出了一种新的评价卷积核重要程度的方式。主要思想是比较改变损失函数前后训练得到的两套参数，如果某个位置的参数改变的幅度大，就认为该参数是敏感的不稳定的，那

绝地灬酷狼/ 2022年03月26日 08:46/ 0 赞/ 262 阅读

相关 [剪枝]Channel Pruning for Accelerating Very Deep Neural Networks

\[ICCV2017\] Channel Pruning for Accelerating Very Deep Neural Networks arxiv:[https

电玩女神/ 2022年02月13日 14:39/ 0 赞/ 270 阅读