深度学习100问：图像语义分割有哪些经典的上采样方法？

た入场券 2022-08-28 02:44 182阅读 0赞

点击上方“**小白学视觉**”，选择加"**星标**"或“**置顶**”

重磅干货，第一时间送达

大家都知道目前主流的语义分割模型都是编码-解码框架的。通过编码器不断将输入不断进行下采样达到信息浓缩，而解码器则负责上采样来恢复输入尺寸。

![35cba2e56a623f5f2bb90276b9998d1c.png][]

目前已知的大多数分类网络，比如说VGG、ResNet、MobileNet、Inception和DenseNet等，均可用于分割时的信息编码，那么恢复图像像素的上采样方法都有哪些呢？

经典的上采样方法主要包括双线性插值法(Bilinear interpolation)、转置卷积法和反池化法(Unpooling)。本文笔者就和大家来看一下这些上采样方法。

**双线性插值**

#  #

插值法(Interpolation)是一种经典的数值分析方法，一些经典插值大家或多或少都有听到过，比如线性插值、三次样条插值和拉格朗日插值法等。在说双线性插值前我们先来了解一下什么是线性插值(Linear interpolation)。

线性插值法是指使用连接两个已知量的直线来确定在这两个已知量之间的一个未知量的值的方法。如下图所示：

![48999aac1e336719783983b6a9432114.png][]

已知直线上两点坐标分别为(x1,y1)和(x2,y2)，现在想要通过线性插值法来得到某一点x在直线上的值。基本就是一个初中数学题，这里就不做国多展开，点x在直线上的值y可以表示为：

![6069b0c07301981b59b5633fa2c1bd5a.png][]

然后我们再来看双线性插值。线性插值用到两个点来确定插值，双线性插值则需要四个点。在图像上采样中，双线性插值利用四个点的像素值来确定要插值的一个像素值，其本质上还是分别在x和y方向上分别进行两次线性插值。如下图所示，我们来看具体做法。

![1a34412037617bc19d6074c7cd2a74ef.png][]

图中Q11-Q22四个黄色的点是已知数据点，红色点P是待插值点。假设Q11为(x1,y1)，Q12为(x1,y2)，Q21为(x2,y1)，Q22为(x2,y2)。我们先在x轴方向上进行线性插值，先求得R1和R2的插值。根据线性插值公式，有：

![5507764479bd618dc25211fb7f26c303.png][]

得到R1和R2点坐标之后，便可继续在y轴方向进行线性插值。可得目标点P的插值为：

![9ba9a1a86a83f672096720d1fca7da7b.png][]

双线性插值在众多经典的语义分割网络中都有用到，比如说奠定语义分割编解码框架的FCN网络。假设将3x6的图像通过双线性插值变为6x12的图像，如下图所示。

![0cf1579d9baf5c085c269ee50481cc0a.png][]

双线性插值的优点是速度非常快，计算量小，但缺点一般就是效果不是特别理想。

**转置卷积**

#  #

语义分割上采样另一种经典的、也是最主流的方法是转置卷积(Transposed Convolution)，也有叫做反卷积或者解卷积。转置卷积本质上跟常规卷积并无太大差别，具体笔者在系列第6篇[深度学习100问-6：有哪些经典的卷积类型？][100_-6]中已有详细阐述，本文就不再赘述。

![fa1887dd9881d6baffb9f5b95c883809.gif][]

常规卷积

![c00078f650dc9dca3d3ee1219b408a4f.gif][]

转置卷积

转置卷积作为上采样方法效果要比双线性插值好一些，但缺点就是计算量偏大。

**反池化**

#  #

反池化(Unpooling)可以理解为池化的逆操作，相较于前两种上采样方法，反池化用的并不是特别多。其简要原理如下，在池化时记录下对应kernel中的坐标，在反池化时将一个元素根据kernel进行放大，根据之前的坐标将元素填写进去，其他位置补位为0即可。

如下图所示，a为输入图像，b为转置卷积的输出效果，c则是反池化的输出效果。

![31b614d8ec8d1a9aafc4fb68335e08c4.png][]

以上就是本文内容。

**下载1：OpenCV-Contrib扩展模块中文版教程**

在「**小白学视觉**」公众号后台回复：**扩展模块中文教程****，**即可下载全网第一份OpenCV扩展模块教程中文版，涵盖**扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理**等二十多章内容。

**下载2：Python视觉实战项目52讲**

在「**小白学视觉**」公众号后台回复：**Python视觉实战项目****，**即可下载包括**图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别**等31个视觉实战项目，助力快速学校计算机视觉。

**下载3：OpenCV实战项目20讲**

在「**小白学视觉**」公众号后台回复：**OpenCV实战项目20讲****，**即可下载含有**20**个基于**OpenCV**实现20个**实战项目**，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。**请勿**在群内发送广告，否则会请出群，谢谢理解~

![6291eafd141bb7065cc693de8bc7200b.png][]

![f4d2b19cc1008c44cd50b8939434073f.png][]

[35cba2e56a623f5f2bb90276b9998d1c.png]: /images/20220828/9e4ca080300f44eaac9338c66c6adfc1.png
[48999aac1e336719783983b6a9432114.png]: /images/20220828/5ec1c9c41a3643e6bcc49d91eed38dc4.png
[6069b0c07301981b59b5633fa2c1bd5a.png]: /images/20220828/4c8fd373ac2345fab022299bde1b47db.png
[1a34412037617bc19d6074c7cd2a74ef.png]: /images/20220828/72f81e2de9494aab8f427b3d5852116b.png
[5507764479bd618dc25211fb7f26c303.png]: /images/20220828/cd5af3f655ab4c409b53d5c730ca464e.png
[9ba9a1a86a83f672096720d1fca7da7b.png]: /images/20220828/b64ad85e48984624984f5fcca4bb9e6d.png
[0cf1579d9baf5c085c269ee50481cc0a.png]: /images/20220828/2011cc670dfa495eb232491fa9b6e8e2.png
[100_-6]: http://mp.weixin.qq.com/s?__biz=MzI4ODY2NjYzMQ==&mid=2247485678&idx=1&sn=472e9339152b59fe9a9f0cb2c1673818&chksm=ec3bad86db4c2490259f28fecd8a8932c0a12a87ebf4bf160f779ca0e0a87a9ff6680af7e268&scene=21#wechat_redirect
[fa1887dd9881d6baffb9f5b95c883809.gif]: /images/20220828/b42ff73eef1b43e3adc3c487e64fdf1a.png
[c00078f650dc9dca3d3ee1219b408a4f.gif]: /images/20220828/22625385f91c4f748b5488ff5e73b099.png
[31b614d8ec8d1a9aafc4fb68335e08c4.png]: /images/20220828/1636c9247f294fad83c62602ed48e5bf.png
[6291eafd141bb7065cc693de8bc7200b.png]: /images/20220828/3e1d1ab8ad724670a82503bf7e3a1e26.png
[f4d2b19cc1008c44cd50b8939434073f.png]: /images/20220828/3abc039ccefd449580992e731112e5b8.png