使用Opencv构建一个简单的图像相似检测器（MSE、SSIM）

朴灿烈づ我的快乐病毒、 2022-02-13 03:35 217阅读 0赞

![0\_jpeg][0_jpeg]

## 介绍 ##

作为人类，我们通常非常善于发现图像中的差异。例如，常见的游戏——两张图像找不同。现在让我们玩下这个游戏吧，首先让我们看看上面的图像，三十秒内看看是否能够从中找出有什么不同的地方。  
       **答案**：水果、冰淇淋和饮料的颜色发生了明显改变，窗帘、太阳也发生了改变，这是不是很简单呢？如果有补充的答案，请在留言处给出哦！  
       这类问题对于人类来说看起来是一件轻而易举的事情，但是，对于计算机来说，这可不是一件容易的事儿。这是由于计算机只能从我们训练它的模型中学习，才最终具有这类能力。目前有很多很好的模型可以对批量图像进行分类，比如[TensorFlow][]和[Keras][]等开源工具。  
       借助于这类开源工具库，计算机视觉领域的研究得以高发展。现在我们也可以借助于这类工具箱创建非常复杂的模型以及解决比较复杂的问题，例如[kaggle：Animals-10][kaggle_Animals-10]，该数据集包含数十种不同类型动物的图像以及非动物图像。所要做的就是创建一个模型来预测图片是哪种类型的动物。

## MSE和SSIM ##

然而，上述任务较为简单，比如常见的手写体数字识别MNIST等，一般也都能取得很高的精度。在这里，我想增加一点难度，创建一个图像分类器，以分辨出两个图像的相似程度。并且，不依赖任何复杂的工具库，如TensorFlow、Keras等。本文采用传统的机器学习方法，这里从中选取两种方法，用于查找图像是否与另一个图像相似。这两种方法分别**为均方误差（MSE）**、**结构相似度指数（SSIM）**。

![1][]  
MSE  
![2][]

SSIM

上述公式看起来非常复杂，但不要害怕。借助于NumPy，可以相当容易地计算出MSE；另外，由于SSIM是Sci-Kit图像库的内置方法的一部分，因此也可以很容易地计算出SSIM。  
       在进行编码之前，这里先对这两种方法予以简单的说明。MSE将计算正在比较的两个图像的每个像素之间的均方误差。而SSIM做的事情与MSE恰好相反，寻找像素值的相似之处。 也就是，如果两个图像中的像素排列相似或具有相似的像素密度值。MSE方法遇到的一个的问题是其结果往往具有任意大的值，因此很难给出标准的评判标准。一般而言，MSE越高，表明两张图像的相似程度越低。如果图像之间的MSE值是随机值，则很难说明二者是否相似。另一方面，SSIM将所有内容归一化到 `-1~1`的范围内（很难得到小于0的分数）。得分为1表示二者非常相似，得分为-1表示二者非常不同。基于此，SSIM相较于MSE而言是一个更好的衡量指标。

## 实现 ##

现在使用代码实现上述想法：  
**加载必要的库**：

![3][]

本文使用常见的图像处理工具箱OpenCV实现图像的读取和编辑。如果你对其它图像处理工具箱熟悉，你也可以使用自己熟悉的工具箱完成此类操作，比如matplotlibden。  
**编写MSE公式**：

![4][]

使用Numpy操作起来很简单吧！  
       由于SSIM已经通过skimage导入，因此无需进行手动编码。现在创建一个比较函数，该函数的输入为两个图像，分别计算二者的MSE和SSIM，并展示计算结果。

![5][]

下面的三个步骤可以使用for循环一次完成，但是为了更容易地理解，这里不使用for循环编写代码，将其分解为三个部分：

![6][]

首先，加载保存在目录中的图像。其次，必须确保它们的大小相同，否则会出现尺寸不匹配的错误。问题是对其进行尺寸变换操作会导致图像失真，所以在找到比较合适的尺寸数字之前，可以尝试快速搜索方法，尺寸大小按照一定的规律设置，不断实验以找到最终比较合适的尺寸。接下来我们再实现一个功能，以便于看到测试图像是什么样子的。

![9][]

现在通过比较两个一样的图像来测试并查看MSE和SSIM是否正常工作。如果它有效，那么我们应该得到MSE值为0和SSIM值为1的结果。

![10][]

从中可以看到，代码正确，结果与猜想的一致！  
       现在计算机就可以判断比较的两张图像是否相同了。为简单起见，我将三张狗的图像与自己以及三张猫的图像进行比较。

![11][]  
三只不同的狗比较

![12][]  
三只不同的猫比较

下面看看两种算法的性能比较。正如所看到的那样，MSE的值变化很大，因此该值很难说明其表达的意思是什么。但从SSIM的结果看出，可以看到狗2和狗3相对于其他狗的图像最为相似。从视觉上来讲，我同意这个结果，因为两只狗的耳朵非常像。但我还会认为狗1和狗3会有更高的SSIM值，因为二者的姿势也很相似。实际上，在图像没有进行灰度处理之前，狗2和狗3在鼻子区域周围有类似的白色毛皮，而狗1没有。这很可能是狗2和3具有比狗1更高的SSIM值的原因。对于猫来说，这就有点困难。猫1和猫2具有相似的形状，并且图像是从相似的距离拍摄的，但猫2和猫3具有相似的皮毛颜色。  
       这里我想进行的测试只有两个：一个是狗和猫的相似性，第二个是每个动物与 [原始源代码][Link 1]附带的门图的相似性。

![13][]

正如所预料的那样，狗和猫是相似的，这点与与无生命的物体相比呈鲜明的对比，如侏罗纪公园入口门。狗和猫对门的图像具有较高的SSIM值，唯一原因在于图像都经过了尺寸缩放和灰度处理。  
       在调整图像大小和重新配置时，OpenCV并不是最好的。一般而言，TensorFlow是最好的，TensorFlow也最适合批量图像。  
       之后，我也将使用TensorFlow处理kaggle Animal-10数据集，来实现一个完整的图像分类器。

## 作者信息 ##

Iftekher Mamun， 机器学习  
本文由阿里云云栖社区组织翻译。  
文章原标题《Image Classification using SSIM  
Simple Image Classifier with OpenCV》，译者：海棠，审校：Uncle\_LLD。  
文章简译，更为详细的内容，[请查看原文][Link 2]。

[0_jpeg]: /images/20220213/6838da3695a54b4bb690aaa1353ce4bb.png
[TensorFlow]: https://www.tensorflow.org/
[Keras]: https://keras.io/
[kaggle_Animals-10]: https://www.kaggle.com/alessiocorrado99/animals10
[1]: /images/20220213/be11970428d54661a1ebbf5f1b7e749f.png
[2]: /images/20220213/559719c08a864e26b6e2af9d4330e758.png
[3]: /images/20220213/9e0bd32338bb4edb8c9720d2043dae50.png
[4]: /images/20220213/615165c731164cd6b46966c1f222235d.png
[5]: /images/20220213/d6e0f5a4645e42b8a6e642fcabcfd572.png
[6]: /images/20220213/bb9320be17fa43fb81b70ff139d99a9c.png
[9]: /images/20220213/05e35228ce64457ebbfa78b1a8d4bc98.png
[10]: /images/20220213/7ac225d11bd74dffba83e92b9b043a68.png
[11]: /images/20220213/d241a470f3e840a8876b2c08137dcae3.png
[12]: /images/20220213/22c84d16b06847dab6afc80fbb20f897.png
[Link 1]: https://www.pyimagesearch.com/2014/09/15/python-compare-two-images/
[13]: /images/20220213/519f55c3ede748bb833ac2ff5846e761.png
[Link 2]: https://towardsdatascience.com/image-classification-using-ssim-34e549ec6e12