对抗互补学习：弱监督物体定位方法

朱雀 2022-11-04 11:08 114阅读 0赞

> 点击上方“**机器学习与生成对抗网络**”，关注星标
> 
> 获取有趣、好玩的前沿干货！

> 作者：Sik-Ho Tsang
> 
> 编译：ronghuaiyang AI公园  
>

**导读**

无需标签，定位物体的位置，弱监督物体定位的端到端的方法，超越CAM和Hide-and-Seek。

![8f9b4a60d677fd4c0ed38baf0abf346b.png][]

ACoL: Adversarial Complementary Learning

**对抗补充学习弱监督目标定位，ACoL**，由悉尼科技大学，伊利诺伊大学香槟分校和新加坡国立大学提出。摘要：

*  弱监督目标定位(WSOL)是对目标进行定位，但没有目标的包围框标签，只有图像级标签，用于训练。
 *  提出了一种简单的网络结构，该结构包含两个并行分类器，用于目标定位。**前向传递的时候在分类的同时动态定位一些有区分性的目标区域**
 *  这是一种对抗学习，**两个并行的分类器被迫利用互补的目标区域进行分类，最终共同生成完整的目标定位**。

# 1. ACoL: 网络结构 #

![e7b72ab3438e0364fe0c91b9d4ef92ef.png][]

ACoL: 网络结构

*  **传统上，深度分类网络**通常利用特定类别的独特模式进行识别，生成的物体定位图**只能突出目标物体的一小部分区域，而不能突出整个物体**。

> 提出的ACoL旨在通过对抗学习的方式发现整体的目标区域

## 1.1. ACoL结构 ##

*  提出的ACoL，包括三个组成部分，**Backbone**， **Classifier A**和**Classifier b**
 *  **Backbone**：一个全卷积网络，作为**特征提取器**。
 *  主干网的特征图被输入到以下并行分类分支。
 *  **两个分支**包含相同数量的**卷积层然后是GAP层和softmax层**用于分类。

> 具体来说，**将分类器B的输入特征在分类器A产生的可区分区域的指导下进行部分擦除。**

*  对分类器A的定位图进行阈值分割，识别出可区分区域。
 *  然后将B分类器输入特征映射中的对应区域用0代替进行擦除，以实现对抗。
 *  更准确地说，大于阈值δ的区域被擦除。
 *  这样的操作**鼓励分类器B利用目标物体的其他区域的特征**来支持图像级标签。
 *  最后，将两个分支产生的定位图相结合，得到目标对象的整体定位图。采用Max函数进行融合操作。
 *  整个过程是端到端训练的。两种分类器均采用交叉熵损失函数进行训练。

## 1.2. VGGNet 和 GoogLeNet ##

*  提出ACoL方法使用VGGNet和GoogLeNet。
 *  具体来说，对VGG-16网络删除conv5-3(从pool5到prob)，对GoogLeNet网络删除最后一个inception。
 *  然后，添加两个kernel size 3 × 3, stride 1, pad 1, 1024个单元的卷积层和一个size 1 × 1, stride 1, 1000个单元的卷积层(CUB-200-2011和Caltech-256数据集分别为200和256个单元)。
 *  最后，在卷积层的顶部添加一个GAP层和一个softmax层。

## 1.3. 测试 ##

*  在测试过程中，根据预测的类提取融合后的目标图，通过线性插值的方法将融合后的目标图大小调整到与原始图像相同的大小。
 *  为了公平比较，我们使用CAM中详细介绍的相同策略，根据生成的目标定位图来生成目标边界框。
 *  具体来说，首先用一个固定的阈值分割前景和背景。然后，寻找在前景像素中覆盖最大连接区域的紧密边界框。

# 2. 消融研究 #

![6c5c94ad417993da6d5436d27e69be76.png][]

不同阈值下的定位误差

*  观察到两个结果。
 *  提出的互补分支(分类器B)成功地与分类器A协同工作。
 *  需要一个设计良好的阈值。过大的阈值不能有效鼓励分类器B发现更多的有用区域，太小的阈值可能会带来背景噪声。
 *  **三个分类器的级联网络**也被测试。
 *  特别的是，添加第三个分类器，并通过融合分类器A和分类器b的目标定位图来擦除/引导其输入特征图，但没有明显的改善。

# 3. 实验结果 #

## 3.1. 分类 ##

![7bed0e039cce661f4a4878dbf9ce7379.png][]

在ILSVRC验证集上的分类误差

*  GoogLeNet-ACoL 和 VGGNet-ACoL 要比GoogLeNet-GAP 和 VGGNet-GAP的结果更好。

![8ae6c13d7c8c6e8ae96c80f20cd3a17c.png][]

在细粒度CUB-200–2011测试集上的分类误差

*  VGGNet-ACoL 达到了最低的 error 28.1%，没有使用包围框。

> 该方法可以使网络达到与原始网络等价的分类性能。这是由于擦除操作引导网络发现更多有区别的模式。

## 3.2. 定位 ##

![94e640461e765549d96c689e8720c646.png][]

在ILSVRC验证集上的定位误差

*  ACoL 要比所有的baseline效果更好。
 *  VGGNet-ACoL要远好于VGGNet-GAP 和 GoogLeNet-ACoL，比GoogLeNet-HaS-32还要好。

![70001ee1b573d30dc714bd51e7e047f5.png][]

在细粒度CUB-200–2011测试集上的定位误差

*  同样，该方法的Top-1误差比GoogLeNet-GAP小4.92%。

![249c9544b527277aada377fbc9f2b479.png][]

在ILSVRC验证集上的定位/分类误差

*  使用了最先进的ResNet和DPN网络。
 *  使用集成DPN的分类结果，Top-1的误差从45.14%减少到了38.45%。
 *  此外，仅从CAM之后的前三个预测类中选择边界框，可以提高 Top-5的定位性能(由\*表示)。
 *  **VGGNet****-ACoL-****DPN**\-ensemble模型达到了30.03%的误差在ILSVRC上。

![8ba3d3beea7e353d688d84f824529cd5.png][]

在ILSVRC验证集上使用ground-truth标签的定位误差

*  消除分类结果对定位精度的影响，使用ground-truth标签比较定位精度。
 *  所提出的ACoL方法的Top-1误差达到37.04%，超过了其他方法。

## 3.3. 可视化 ##

![32c2c9c95403a2e09c3eb1cbbcf5d97a.png][]

和CAM方法的比较

*  上图显示了本文的方法和CAM方法的定位包围框。

> CAM只能捕获目标的一部分，而ACoL可以捕获目标的大部分。

![d429678f1ef51ca43dba4cd25ca2b058.png][]

提出方法的物体定位图

*  对于上面的每一张图像，分别显示了分类器A(左中)、分类器B(右中)和融合后的图(右中)。
 *  提出的两个分类器(A和B)可以发现目标物体的不同部位，从而在给定的图像中定位同一类别的整个区域。

—END—

英文原文：https://sh-tsang.medium.com/acol-adversarial-complementary-learning-weakly-supervised-object-localization-e112e5343f

**猜您喜欢：**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![4977901e05809359902384b4fce5f5e4.png][]

[8f9b4a60d677fd4c0ed38baf0abf346b.png]: /images/20221023/532fd7da15704255ad370d5ec4e1a77e.png
[e7b72ab3438e0364fe0c91b9d4ef92ef.png]: /images/20221023/bfbff987ebc543b0b0f54f0b0d7595a3.png
[6c5c94ad417993da6d5436d27e69be76.png]: /images/20221023/f4b0d5ad9b14440bb9c2d0c22852e202.png
[7bed0e039cce661f4a4878dbf9ce7379.png]: /images/20221023/57143c8ca4fe417abc4c9179e5b4d8e6.png
[8ae6c13d7c8c6e8ae96c80f20cd3a17c.png]: /images/20221023/89632884463748caa562dd9cce5a9f6b.png
[94e640461e765549d96c689e8720c646.png]: /images/20221023/515cb5b1281e4e9ab18ff0f13d119f95.png
[70001ee1b573d30dc714bd51e7e047f5.png]: /images/20221023/ed1780bd357a4c58bdce5b974da03c15.png
[249c9544b527277aada377fbc9f2b479.png]: /images/20221023/e3f16336c12e4137a0ed0e8f18a678a5.png
[8ba3d3beea7e353d688d84f824529cd5.png]: /images/20221023/93d04d49c8a341fc8e3cef499cdaec8c.png
[32c2c9c95403a2e09c3eb1cbbcf5d97a.png]: /images/20221023/e729d291eb78434fa1b707b35863995b.png
[d429678f1ef51ca43dba4cd25ca2b058.png]: /images/20221023/d0de1648e4c54372928ac8f13cdc25b5.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[4977901e05809359902384b4fce5f5e4.png]: /images/20221023/0aab1821fda64c1c93f44e655ce08539.png