【图像分割】走进基于深度学习的图像分割

迈不过友情╰ 2022-10-10 01:46 219阅读 0赞

# 深度学习中的图像分割 #

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像素赋予相同的编号。基于深度学习的图像分割算法主要分为两类：  
**1.语义分割**  
为图像中的每个像素分配一个类别，如把画面中的所有物体都指出它们各自的类别。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70]

**2.实例分割**  
与语义分割不同，实例分割只对特定物体进行类别分配，这一点与目标检测有点相似，但目标检测输出的是边界框和类别，而实例分割输出的是掩膜（mask）和类别。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 1]

# 应用领域 #

**1. 医学影像。**  
包括:  
（1）肿瘤和其他病理的定位  
（2）组织体积的测量  
（3）计算机引导的手术  
（4）诊断  
（5）治疗方案的定制  
（6）解剖学结构的研究  
**2. 在卫星图像中定位物体**  
（1）建筑物变化检测  
（2）农作物、森林、土地等面积的计算  
（3）道路提取  
（4）建筑物分割  
**3．无人驾驶领域**  
**4、人脸检测和识别、指纹检测、虹膜识别等。**

# 深度学习中的图像分割模型 #

FCN  
U-Net：  
SegNet  
RefineNet  
PSPNet  
DeepLabv1  
DeepLabv2  
DeepLabv3  
DeepLabv3+  
Mask-R-CNN  
Transformer

# 深度学习常用数据集 #

**Pascal VOC**  
地址链接：http://host.robots.ox.ac.uk/pascal/VOC/  
VOC 数据集分为20类，包括背景为21类，分别如下：  
• Person: person  
• Animal: bird, cat, cow, dog, horse, sheep  
• Vehicle: aeroplane, bicycle, boat, bus, car, motorbike, train  
• Indoor: bottle, chair, dining table, potted plant, sofa, tv/monitor  
VOC 数据集中用于分割比赛的图片实例如下，包含原图以及图像分类分割和图像物体分割两种图（PNG格式）。图像分类分割是在20种物体中，ground-turth图片上每个物体的轮廓填充都有一个特定的颜色，一共20种颜色。  
![在这里插入图片描述][20210625172731586.png]

**MS COCO**  
地址链接：https://cocodataset.org/\#home  
MS COCO 是最大图像分割数据集，提供的类别有 80 类，有超过 33 万张图片，其中 20 万张有标注，整个数据集中个体的数目超过 150 万个。MS COCO是目前难度最大，挑战最高的图像分割数据集。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 2]

**Cityscapes**  
地址链接：https://www.cityscapes-dataset.com/  
Cityscapes 是驾驶领域进行效果和性能测试的图像分割数据集，它包含了5000张精细标注的图像和20000张粗略标注的图像，这些图像包含50个城市的不同场景、不同背景、不同街景，以及30类涵盖地面、建筑、交通标志、自然、天空、人和车辆等的物体标注。Cityscapes评测集有两项任务：像素级（Pixel-level）图像场景分割（以下简称语义分割）与实例级（Instance-level）图像场景分割（以下简称实例分割）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 3]  
**ADE20K**

官网：http://groups.csail.mit.edu/vision/datasets/ADE20K/  
整个数据集（包含所有的图像和分割在内）的大小为 3.8Gb，训练集20210张图片，验证集200张，场景比较丰富包括：室内，室外，自然场景等。单张场景的类别也较多，共150个类别。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 4]

# 常用的损失函数 #

1.  Binary Cross Entropy
2.  Weighted Cross Entropy
3.  Balanced Cross Entropy
4.  Dice Loss
5.  Focal loss
6.  Tversky loss
7.  Focal Tversky loss
8.  log-cosh dice loss

# 推荐一个好用的图像分割库 #

segmentation\_models\_pytorch是一个基于PyTorch的图像分割神经网络

这个新集合由俄罗斯的程序员小哥Pavel Yakubovskiy一手打造。  
github地址：https://github.com/qubvel/segmentation\_models.pytorch

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 5]  
使用方法：  
https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/116245088?spm=1001.2014.3001.5501

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70]: /images/20221005/8245731cb9db42c2bd7e7c8630790e6f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 1]: /images/20221005/f605de50eb7e4a8195907bce4c1c4271.png
[20210625172731586.png]: /images/20221005/111df0870a1a4c14bced453fc616da54.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 2]: /images/20221005/0b8c7645f61a49178ffd7ff6b7403608.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 3]: /images/20221005/b84eaf4d1af94c58be6f63333f0d52ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 4]: /images/20221005/e0650bdd36e14fd589fc8ae5396b4544.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 5]: /images/20221005/fd58d090e9084cd49efd4b778ee874d6.png