Python实现图像去除栏杆

桃扇骨 2023-10-15 13:49 7阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88277451  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88277451

## 图像去除栏杆 ##

### 一、问题分析 ###

图像中的栏杆会对我们期望的目标进行遮挡，为了更加直观的看到目标物体需要去除栏杆。这个问题可以分为两个步骤来进行：

步骤一：识别栏杆区域

步骤二：将栏杆区域作为蒙板，进行图像修补

### 二、识别栅栏区域 ###

#### 2.1 直线特征 ####

##### 2.1.1 边缘检测 #####

用 Canny 边缘检测、Laplacian 算子边缘检测、Sobel 算子边缘检测三种方法对图片的边缘进行检测，可以看出 Canny 边缘检测方法检测出的边缘更加精细，其中栅栏的边缘也比较明显，所以选用 Canny 边缘检测的方法。

![在这里插入图片描述][a7d6304534f84a8f8866133b2d827a81.jpeg_pic_center]

Canny 边缘检测

##### 2.1.2 直线检测 #####

因为栅栏的边界大多为直线，所以采用霍夫变换的方法（Hough Transform）方法在 2.1 的基础上检测图中的直线。如图所示，包括栅栏的直线以及非栅栏直线，同时由于相机的畸变，存在部分栅栏的边界没有检测为直线，或者同一栅栏边界检测出多条直线。

![在这里插入图片描述][f24b7a4269004ebf85b7927f276cab23.png_pic_center]

直线检测结果

##### 2.1.3 找栅栏斜率 #####

利用统计学方法找出直线的斜率。统计 2.1.2 中检测到的直线的斜率，做一个简单的聚类找到出现次数最多的一个或两个斜率就是栅栏的斜率。

![在这里插入图片描述][8ac2968866ff4c2d936686d6153bd570.jpeg_pic_center]

##### 2.1.4 找到栅栏的粗略范围 #####

根据检测出的栅栏的斜率，筛选出栅栏边界的直线,画出来栅栏的大致范围如图所示。

![在这里插入图片描述][b6fd34070c5c49b9a3a4213560762a9a.png_pic_center]

栅栏粗略范围

#### 2.2 颜色特征 ####

##### 2.2.1 标注栅栏样本点 #####

在原始图片上标注 n 个样本点，样本点最好能代表栅栏的颜色分布。

![在这里插入图片描述][6a68f208f6c748b3979adbd4f7a92231.jpeg_pic_center]

##### 2.2.2 根据样本找栅栏像素 #####

选取标注的像素点和标注点周围若干个像素点作为栅栏样本，计算栅栏样本像素 RGB 值的均值和协方差，计算图片上所有像素与栅栏样本像素的马氏距离，距离近的粗略识别为栅栏。

![在这里插入图片描述][66e59c46d4224baeab2ec0765512cc47.png_pic_center]

##### 2.2.3 膨胀处理后 找栅栏区域 #####

对栅栏区域做膨胀处理

去除面积特别小的联通区域，栅栏区域一般较大，面积小的栅栏区域应该是错误识别的地方。

![在这里插入图片描述][e33c1e096ebe4ee59b8480d4ea2ce286.png_pic_center]  
![在这里插入图片描述][51d84c1f7ecb4ec6b6c1b104acd9ba52.jpeg_pic_center]

##### 2.2.4 再次膨胀处理 #####

![在这里插入图片描述][ec4f71f082c742bdaa9294e7a1a4c3b2.jpeg_pic_center]

#### 2.3 两特征融合 ####

![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传][20230724024159.png_origin_url_https_3A_2F_2Fwww.writebug.com_2Fmyres_2Fstatic_2Fuploads_2F2021_2F11_2F17_2F0be9d796134c40094d9475c42c9895ab.writebug_pos_id_img-MlRTiccB-1693439863189] ![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传][20230724024159.png_origin_url_https_3A_2F_2Fwww.writebug.com_2Fmyres_2Fstatic_2Fuploads_2F2021_2F11_2F17_2Fde8e2c583e7867ed639ab86147242a93.writebug_pos_id_img-BZSO1B9z-1693439863189]

![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传][20230724024159.png_origin_url_https_3A_2F_2Fwww.writebug.com_2Fmyres_2Fstatic_2Fuploads_2F2021_2F11_2F17_2Fd5c8df63a355d3d2f1bb4235e227d6f6.writebug_pos_id_img-ekhYWBhf-1693439863189]

### 三、修复图片 ###

将栅栏区域作为蒙板，进行图像修补。

方法一：

使用 opencv 自带的修补函数 inpaint，其中参数 flags 可以选择为 INPAINT\_NS 或 INPAINT\_TELEA，分别对应基于纳维尔－斯托克斯方程的修补方法和 elea 在 2004 年提出的基于快速行进的修复算法。

参考：[https://wenku.baidu.com/view/97679916e87101f69e319536.html][https_wenku.baidu.com_view_97679916e87101f69e319536.html]

https://blog.csdn.net/carson2005/article/details/6844025

![在这里插入图片描述][eb89b4d02b364c4bb9d0c1afa0a53e61.png_pic_center]

方法二：

[https://github.com/JiahuiYu/generative\_inpainting][https_github.com_JiahuiYu_generative_inpainting]

#### 依赖库 ####

*  opencv
 *  numpy
 *  matplotlib
 *  scikit-image

#### 文件说明 ####

*  实现说明.docx  
    简要说明实现过程
 *  color\_feature(file)  
    通过栅栏颜色特征找栅栏范围
 *  line\_feature(file)  
    通过栅栏边界的直线特征找栅栏范围
 *  de\_fencing(file)
    
     *  Parameter.py  
        设定参数
     *  Setting.py  
        修改输入图片位置、输出图片位置等
     *  main1.py  
        利用颜色特征检测栅栏
     *  main2.py  
        利用直线特征和颜色特征检测栅栏
     *  EvaluateResult.py  
        评估检测效果并进行修补
 *  test(file)  
    原始图片和标准栅栏掩膜图片呢位置
 *  result(file)  
    检测结果、修复结果存储位置

#### 运行方法 ####

运行文件夹 `de_fencing` 中的 `main1.py` 和 `main2.py` 可以直接运行，检测栅栏区域，可以通过更改 `Setting.py` 程序中的图片位置来测试不同的图片。  
`EvaluateResult.py` 可以直接运行，用于评估检测效果并进行图像修补。

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88277451  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88277451

[Link 1]: https://download.csdn.net/download/sheziqiong/88277451
[a7d6304534f84a8f8866133b2d827a81.jpeg_pic_center]: https://img-blog.csdnimg.cn/a7d6304534f84a8f8866133b2d827a81.jpeg#pic_center
[f24b7a4269004ebf85b7927f276cab23.png_pic_center]: https://img-blog.csdnimg.cn/f24b7a4269004ebf85b7927f276cab23.png#pic_center
[8ac2968866ff4c2d936686d6153bd570.jpeg_pic_center]: https://img-blog.csdnimg.cn/8ac2968866ff4c2d936686d6153bd570.jpeg#pic_center
[b6fd34070c5c49b9a3a4213560762a9a.png_pic_center]: https://img-blog.csdnimg.cn/b6fd34070c5c49b9a3a4213560762a9a.png#pic_center
[6a68f208f6c748b3979adbd4f7a92231.jpeg_pic_center]: https://img-blog.csdnimg.cn/6a68f208f6c748b3979adbd4f7a92231.jpeg#pic_center
[66e59c46d4224baeab2ec0765512cc47.png_pic_center]: https://img-blog.csdnimg.cn/66e59c46d4224baeab2ec0765512cc47.png#pic_center
[e33c1e096ebe4ee59b8480d4ea2ce286.png_pic_center]: https://img-blog.csdnimg.cn/e33c1e096ebe4ee59b8480d4ea2ce286.png#pic_center
[51d84c1f7ecb4ec6b6c1b104acd9ba52.jpeg_pic_center]: https://img-blog.csdnimg.cn/51d84c1f7ecb4ec6b6c1b104acd9ba52.jpeg#pic_center
[ec4f71f082c742bdaa9294e7a1a4c3b2.jpeg_pic_center]: https://img-blog.csdnimg.cn/ec4f71f082c742bdaa9294e7a1a4c3b2.jpeg#pic_center
[20230724024159.png_origin_url_https_3A_2F_2Fwww.writebug.com_2Fmyres_2Fstatic_2Fuploads_2F2021_2F11_2F17_2F0be9d796134c40094d9475c42c9895ab.writebug_pos_id_img-MlRTiccB-1693439863189]: https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=https%3A%2F%2Fwww.writebug.com%2Fmyres%2Fstatic%2Fuploads%2F2021%2F11%2F17%2F0be9d796134c40094d9475c42c9895ab.writebug&pos_id=img-MlRTiccB-1693439863189
[20230724024159.png_origin_url_https_3A_2F_2Fwww.writebug.com_2Fmyres_2Fstatic_2Fuploads_2F2021_2F11_2F17_2Fde8e2c583e7867ed639ab86147242a93.writebug_pos_id_img-BZSO1B9z-1693439863189]: https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=https%3A%2F%2Fwww.writebug.com%2Fmyres%2Fstatic%2Fuploads%2F2021%2F11%2F17%2Fde8e2c583e7867ed639ab86147242a93.writebug&pos_id=img-BZSO1B9z-1693439863189
[20230724024159.png_origin_url_https_3A_2F_2Fwww.writebug.com_2Fmyres_2Fstatic_2Fuploads_2F2021_2F11_2F17_2Fd5c8df63a355d3d2f1bb4235e227d6f6.writebug_pos_id_img-ekhYWBhf-1693439863189]: https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=https%3A%2F%2Fwww.writebug.com%2Fmyres%2Fstatic%2Fuploads%2F2021%2F11%2F17%2Fd5c8df63a355d3d2f1bb4235e227d6f6.writebug&pos_id=img-ekhYWBhf-1693439863189
[https_wenku.baidu.com_view_97679916e87101f69e319536.html]: https://wenku.baidu.com/view/97679916e87101f69e319536.html
[eb89b4d02b364c4bb9d0c1afa0a53e61.png_pic_center]: https://img-blog.csdnimg.cn/eb89b4d02b364c4bb9d0c1afa0a53e61.png#pic_center
[https_github.com_JiahuiYu_generative_inpainting]: https://github.com/JiahuiYu/generative_inpainting