2017.1-2018.4基于迁移学习的水下图像分类

我会带着你远行 2021-11-09 02:46 163阅读 0赞

2017.1-2018.4 运用迁移学习的方法，提升水下图像识别的准确率。

发表论文：

*Man-Made Object Recognition from Underwater Optical Images Using Deep Learning and Transfer Learning*

IEEE International Conference on Acoustics, Speech and Signal Processing (**ICASSP**)2018

论文地址：[https://xueyangfu.github.io/paper/2018/icassp/icassp2018.pdf][https_xueyangfu.github.io_paper_2018_icassp_icassp2018.pdf]

代码地址：[https://xueyangfu.github.io/paper/2018/icassp/underwater\_generation.zip][https_xueyangfu.github.io_paper_2018_icassp_underwater_generation.zip]

**目录**

一、背景及目的

1.1 水下图像识别难点

1.2 创新点

二、方法

2.1 水下图像生成

2.2 网络结构

2.3 objective

三、实验

3.1 数据集

3.2 实验

四、总结

--------------------

# 一、背景及目的 #

## 1.1 水下图像识别难点 ##

![20190805193810999.png][]

*  光照条件差，水下光照环境复杂
 *  对比度低，会有色散
 *  获取困难，水下图像获取成本高，因此样本量不足

## 1.2 创新点 ##

通过易得的水上图像进行训练，用水上样本与水下样本两个域的样本共同训练。并且只需要源域有标签，目标域可以无标签。

*  源域：水上正常图像，有标签
 *  目标域：水下图像，无标签

# 二、方法 #

## 2.1 水下图像生成 ##

Yoav Y. Schechner and Nir Karpel, “Clear underwater vision,” in Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conference on, 2004, pp. I–536–I–543 Vol.1.

Nguyen et al., Illuminant Aware Gamut-Based Color Transfer, TEAJWS, 2014.

*  用![20190805210841795.png][]表示正常的水上图像。
 *  颜色迁移direct transmission：![20190805210638813.png][]
 *  η为扩散衰减，z为浑浊度，这两个系数越大，则颜色变化越大。这表示浑浊的正向传播。
 *  反向散射back-scattering：![20190805210748470.png][]
 *  水下图像：![20190805210823200.png][]

根据此结果作为水下图像数据集。

## 2.2 网络结构 ##

相当于alexNet结构，在最后两层加入MMD。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

输入时候用有标的源域样本训练AlexNet，然后训练完成后，加入目标域样本，只用MMD更新最后两层的权重。

为什么只用MMD更新最后两层的权重：因为最后两层是刻画分类结果和特征之间相互作用的特征。而浅层的特征基本通用。

进可能的使不同域的图像通过深度网络之后特征分布相近。

## 2.3 objective ##

定义为：

![20190806092802578.png][]

前半部分为交叉熵，后半部分为MMD项。其中，MMD项定义为：

![20190806093026712.png][]

*  上标s表示源域即正常水上图像，t表示目标域水下图像。
 *  k用于衡量两个样本之间的距离，运用的是高斯核函数![20190806093455308.png][]，即距离越大，则此值越小。

![20190806093525810.png][]

最小化MMD loss的目的就是，让源域和目标域的域内距离尽量大(注意这个域指的是整个源域或者目标域，便于分类)，域间距离尽量小，即拉近源域和目标域的分布。

# 三、实验 #

## 3.1 数据集 ##

The Amazon dataset is used as the original in-air man-made object dataset. The dataset consists of 2817 images of man-made objects downloaded from amazon.com. There are 31 categories, with each category containing between 36 to 100 images.

3817张，31类，每类36-100张图片。睡下图片生成按照上面2.1 的方法：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2][]

## 3.2 实验 ##

实验1：水下图像训练，水下图像测试

实验2：水上图像训练，水下图像测试

实验3：水上图像加水下图像（无标签）MMD训练，水下图像测试

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4][]

可以看到加入MMD对实验性能的提升非常明显。

# 四、总结 #

用水上图像加上迁移来增大水下图像识别的准确率。

[https_xueyangfu.github.io_paper_2018_icassp_icassp2018.pdf]: https://xueyangfu.github.io/paper/2018/icassp/icassp2018.pdf
[https_xueyangfu.github.io_paper_2018_icassp_underwater_generation.zip]: https://xueyangfu.github.io/paper/2018/icassp/underwater_generation.zip
[20190805193810999.png]: /images/20211109/a7aaec8ce5454d9b8e9a16c605efb79a.png
[20190805210841795.png]: /images/20211109/1d8a97d3eeb74bbaa2058ef81fd80883.png
[20190805210638813.png]: /images/20211109/dd7cc6f4b4c54e73aaf9be1fe9b87788.png
[20190805210748470.png]: /images/20211109/4c50e2ddd6ba4631b0707b42c52eab85.png
[20190805210823200.png]: /images/20211109/70549afbe9874af587b4f8673f360ac5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70]: /images/20211109/b4b287e385df4a6dbfb7a6abb539611e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1]: /images/20211109/b4e02e0971dc40e7a70a16177ca8127b.png
[20190806092802578.png]: /images/20211109/4881716fe92b4d7d97e0cc45e6babad0.png
[20190806093026712.png]: /images/20211109/e1ed9cf8f458489c9cdee40cdfeff45b.png
[20190806093455308.png]: /images/20211109/22ef48ac2f6946da90e3aa4ff7bc95c6.png
[20190806093525810.png]: /images/20211109/5e8d07b93c8b4976908747f6cd947c77.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2]: /images/20211109/ffa78cf6436348848c45d38dfc0e1117.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3]: /images/20211109/01c6778e17d44324a05d937e222f65e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4]: /images/20211109/5ea858df71934367b3f90199b6f5eed4.png