你曾想过如何将图像存储在数据集中吗？

短命女 2022-11-22 13:00 124阅读 0赞

> 全文共2852字，预计学习时长8分钟

![1fbabcf56e4312532fd697a77be95fd1.png][]

图源：unsplash

本文将研究如何将深度学习技术应用于研究非结构化数据（例如图像或文本），聚焦什么是图像以及如何使用图像数据。让我们开始吧！

**图像数据集简介**

先让我们看看如何将图像存储在计算机中：

![a5cdb941da01ecc17a8d84b2b895b587.png][]

图源：AnalyticsVidhya

这是一张数字8的图像。现在，如果继续对其进行放大图像便会失真，并且图像上将会出现一些小方块，这些小方块被称为像素。同样，我们使用X×Y表示图像维度，X和Y分别表示高度和宽度上的像素数。

我们是以这种格式看到图像，计算机则是以数字形式存储图像，其中每个像素均表示为数值，而该数值表示像素的强度。

![da9f6567c34866f7547b3e6529662ba2.png][]

图源：AnalyticsVidhya

对于灰度图像，强度范围为0-255。接近0的值表示较深的颜色，而接近255的值表示较浅的颜色。因此，计算机中的每个图像都以数字矩阵的形式存储，该矩阵也被称为通道（channel）。

现在来看看彩色图像是如何存储在计算机中的：

![5c139415f36cba85640f6f810450caa9.png][]

图源：AnalyticsVidhya

图像由多种颜色组成，几乎所有颜色都可以由三原色生成——红色，绿色，蓝色。可以说每个彩色图像由3种颜色或3个通道组成，即彩色图像通道数更多。

在该示例中，有3个矩阵或通道——R，G和B，矩阵中的每个值将介于0到255之间。当图像加载到计算机中时，所有这些通道都将叠加在一起，图片的形状变为 N x M x 3，其中N代表高度上的像素数，M表示宽度上的像素数，3表示通道数。

![3ef355a04c4d768a796c80997829dec9.png][]

图源：AnalyticsVidhya

以上讨论的是两种最常见的格式，即灰度和RGB格式。

**不同的图像格式**

工作中将遇到不同类型的图像数据集，其中一些如下：

· 灰度图像：

![e245f342570621d300196ebe5575da49.png][]

图源：AnalyticsVidhya

· RGB图像：

![f839699f1da1662f11654605488269ba.png][]

图源：AnalyticsVidhya

· RGBA图像：

![9ccf12ed876093d33783d9607c877a07.png][]

图源：AnalyticsVidhya

看看上图之间的区别。左起第一张图像非常清晰，第二张图像颜色稍淡，而第三张图像中几乎看不到颜色。

与RGB格式相似，RGBA图像存储为3D矩阵，其中矩阵的形状为N×M×通道数。RGBA图像有4个通道，第四个通道称为alpha通道，其中alpha控制颜色的不透明度或透明度。alpha值的范围在0–255之间，取0时图像是透明的，取255时则是原始图像。如果该值介于0到255之间，则图像会部分透明，具体取决于像素强度。

![ee28a7b9d547465662f46225fdbe9bf7.png][]

对于alpha=10，图像被完全遮挡；对于alpha=150（介于0-255之间），可以看到颜色部分可见，因此可以说它部分不透明；对于alpha=200，该值非常接近255，因此在这种情况下颜色是可见的，因此按原样显示图像。

· MRI图像：它们存储为4D矩阵，其中矩阵的形状如下——N × M ×切片×通道。例如大脑是3D对象，因此从下图中只能看到大脑的外部结构。为了捕获大脑的内部区域，我们创建了大脑的多个切片并捕获了每个切片，然后将它们堆叠起来以创建4D矩阵。这类图像在CT扫描和MRI（磁共振成像）中使用较多。

![ead0d36a48d1a7ac665a4f5d9b151c55.png][]

图源：AnalyticsVidhya

**1.图像阅读与堆叠**

这部分介绍了图像的各种格式。如何读取图像，如何使用流行的python包skimage查看图像，以及通过减少代码量来使用glob显示相同格式的多个图像。另外，处理MRI图像时要使用一个笔者用过的热门库，即nibabel。

· 可以在我的GitHub链接上查找此部分的代码和图像文件：https://github.com/grajpal123/Reading\_Stacking\_Images\_DL

**2.将图像转换为不同格式**

本部分介绍了不同类型的图像，以及如何将一种格式转换为另一种格式。还必须了解，将图像从较低质量转换为较高质量非常困难，比如将灰度图像转换为RGB图像。

· 可以在我的GitHub链接上查找此部分的代码和图像文件：https://github.com/grajpal123/Converting\_Images\_DL

**3.提取图像边缘**

本部分将讨论如何提取图像边缘。另外，将看到两种类型的滤波器，即Sobel和Prewitt。在进入示例之前，先要了解为什么边缘很重要。因为到要做的事情是从一堆图像中对物体是人、汽车还是动物进行分类，我们可以很容易地根据尺寸和形状对它们进行分类。

![9334e1193d98cecdd706824c909d1aba.png][]

图源：AnalyticsVidhya

现在，稍微调整一下示例。调整后仍可以对它们进行一些分类。

![5734c5bacce7d0a52fd5bd63f33c4d30.png][]

图源：AnalyticsVidhya

调整前后之间的主要区别在于——调整后删除了颜色、背景和其他小细节。仅凭边缘仍然能够识别图像中的对象。因此，对于任何给定的图像，即使只能提取边缘、消除噪点，仍能够对图中对象进行分类。

![ace60f2d6bd246c6ba2183035b1e2371.png][]

图源：AnalyticsVidhya

可以清楚地观察到，在以上示例中，边缘周围的像素值显示了从左到右或从上到下的突然变化。基于此事实，我们可以识别出哪个像素代表边缘或哪个像素位于边缘。将像素值与其周围的像素值进行比较，以确定它是否代表边缘。例如：

![60722e1cd3ce668cb26ebdee311aaefd.png][]

图源：AnalyticsVidhya

可以使用矩阵执行对应元素相乘，以确定特定像素是否为边缘。

![3adceadfd556dbdab42a036146a48bd4.png][]

图源：AnalyticsVidhya

在上面的示例中，像素值略小于矩阵对应元素相乘的结果，因此可以说它位于边缘上，但不能表示边缘。

![176d6388b0b34f8a65f0a86742f799db.png][]

图源：AnalyticsVidhya

在上面的示例中，由于在应用矩阵后像素值变得非常大，可以明确地说这个高亮的像素值代表边缘。

现在以上示例中看到的此矩阵称为滤波器（filter）或核（kernel）。该核或滤波器会遍历处理整个图像以生成新的矩阵。该新矩阵称为特征图，该特征图能够表示像素是否位于边缘上。

**核类型**

![b892f3be3cfc65f90902557433be5a92.png][]

图源：AnalyticsVidhya

Sobel和Prewitt滤波器之间的主要区别在于，Sobel滤波器给予目标像素旁边的像素值更高的权重，而Prewitt则不然。

· 可以在我的GitHub链接上查找此部分的代码和图像文件：https://github.com/grajpal123/Extracting\_Edges\_DL

本文介绍了图像的各种格式，例如RGB、RGBA、MRI和灰度图像，对它们的尺寸进行了简短的讨论，描述了如何进行图像的格式转换，并介绍了一个新的库nibabel，以处理MRI和CT扫描类型的图像。最后研究了各种类型的核，即Prewitt＆Sobel，帮助提取对象的边缘特征并减少背景噪声，从而降低计算复杂度。

![babd2fed8ce0873ef587cb2442edbeae.png][]

**一起分享AI学习与发展的干货**

**欢迎关注全平台AI垂类自媒体 “读芯术”**

![format_png][]

（添加小编微信：dxsxbb，加入读者圈，一起讨论最新鲜的人工智能科技哦～）

[1fbabcf56e4312532fd697a77be95fd1.png]: /images/20221120/9f99bd1d9e984d9a9ac4b2a659ca6ece.png
[a5cdb941da01ecc17a8d84b2b895b587.png]: /images/20221120/542b6362b3e344c6b7822f6a87994169.png
[da9f6567c34866f7547b3e6529662ba2.png]: /images/20221120/bcddf0a7beaa4a8abd808c3aae7bc9ea.png
[5c139415f36cba85640f6f810450caa9.png]: /images/20221120/b207c7c54abb4b478c27237defee9799.png
[3ef355a04c4d768a796c80997829dec9.png]: /images/20221120/d4d63840935b4591a239a6d87c76fc3d.png
[e245f342570621d300196ebe5575da49.png]: /images/20221120/cf6b386cca5f48e38b0f70f12a6ddb2d.png
[f839699f1da1662f11654605488269ba.png]: /images/20221120/7dc37567f6ec4fcf8c0a080c44f4b5dc.png
[9ccf12ed876093d33783d9607c877a07.png]: /images/20221120/2116706d62c44e998b7794290c5259a5.png
[ee28a7b9d547465662f46225fdbe9bf7.png]: /images/20221120/9d38dee55a904a609443e69ae5cbe61a.png
[ead0d36a48d1a7ac665a4f5d9b151c55.png]: /images/20221120/1af3c25707eb45ae80de18d412036d86.png
[9334e1193d98cecdd706824c909d1aba.png]: /images/20221120/71e0a643ea8a4171a2002704ca0f6df1.png
[5734c5bacce7d0a52fd5bd63f33c4d30.png]: /images/20221120/382e169969874547968b663aa568da9a.png
[ace60f2d6bd246c6ba2183035b1e2371.png]: /images/20221120/6f43cbd1d45c4153a2d816090942ba26.png
[60722e1cd3ce668cb26ebdee311aaefd.png]: /images/20221120/59408cc59f0148689aafb934af29c5ba.png
[3adceadfd556dbdab42a036146a48bd4.png]: /images/20221120/6682f70b70ed464c84fff8d7e82b7ce4.png
[176d6388b0b34f8a65f0a86742f799db.png]: /images/20221120/1ee79552e24c409681a5f18d47669085.png
[b892f3be3cfc65f90902557433be5a92.png]: /images/20221120/0fad756dcba94a55b6ecb2beafb155a5.png
[babd2fed8ce0873ef587cb2442edbeae.png]: /images/20221120/1915d3954d9d457b9cd8963f0cc03532.png
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91c2VyLWdvbGQtY2RuLnhpdHUuaW8vMjAxOS85LzEwLzE2ZDE5NjEzMjBmMTY5YmM?x-oss-process=image/format,png