【人工智能-深度学习-图像识别】EfficientNet

曾经终败给现在 2022-09-17 04:20 198阅读 0赞

### 【人工智能-深度学习-图像识别】EfficientNet入门 ###

*  提特征，backbone
 *   *  计算量
     *  B0的基础网络架构，调参调出来的：
     *  深度可分离卷积
 *  代码结构
 *   *  SE模块：注意力机制
     *  目标检测
     *  Zylo117完成的pytorch版本
     *  配置文件
     *  指定版本
     *  root\_dir
     *   *  读入图像
         *  读入标注
     *  定义前向传播
 *  解释网络

# 提特征，backbone #

14年VGG、15年ResNet…**EfficientNet提取特征比较好**，EfficientNet是当下比较好的backbone。  
分类、检测、分割都可以处理的比较好。

网络结构是堆叠的，网络层数可以变多，结构可以变更复杂，如  
d：深度 w：每一层得到特征值的个数 r：输入的分辨率的大小  
对比了同重量级别的效果，把前几年的效果都优秀，b0-b7是一样的，只不过特征图，层数等发生了变化，有些指定参数是大量实验总结的，可能不具有可解释性：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
无人驾驶需要强化学习，没有指定的目标，不违规就行。  
深度学习中调参数，参数设置用强化学习去设置（一个设想），利用强化学习去调优。  
\*\*不建议在EfficientNet上面修改，\*\*很多人尝试改，但没有一个成功的。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 2]

## 计算量 ##

单一考虑计算量，计算量与精度关系  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 3]  
综合考虑参数指标，（谷歌做的）自己是做不了的  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 4]

## B0的基础网络架构，调参调出来的： ##

channel是得到的特征图大小（调参调出来的）  
layers：当前这一层重复的个数  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 5]  
红框为Kernel大小  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 6]  
构建权重层时要不要翻倍  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 7]

## 深度可分离卷积 ##

**Depthwise**：filter计算少一些，特征也少了；参数量省下来了待会再补偿

当从1个filter对n个map变到1个filter对应1个map，卷积失去了能扩充filter的作用；可以再加一个1*1的卷积。即第一步，一对一的接待，输入多少channel输出多少，再进行1*1的卷积，生成多个filter，**加入groups**。

# 代码结构 #

## SE模块：注意力机制 ##

就是一个权重，比如有的纹理信息重要，有的是轮廓信息重要，重要性需要自己做吗，不需要，我们不需要人为的去干扰这个事，所有的该神经网络都是end to end结构，所有都不需要自己参与。  
网络计算这种哪些图重要哪些不重要，最后将这些权重参数加权到网络中。  
width：每层特征值个数 depth：需要堆叠多少模块 res：分辨率的大小 dropout：要不要连上dropout这个东西。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 8]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_15_color_FFFFFF_t_70_g_se_x_16]

## 目标检测 ##

EfficientNet作为目标提取的主干网络，再把主干网络应用到其他应用当中  
EfficientDet主干网络用的是EfficientNet  
打标签  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 9]

## Zylo117完成的pytorch版本 ##

![在这里插入图片描述][6eaa9e2982c94f668cb0f111a55c9f89.png]

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 10]

## 配置文件 ##

换数据集要改的  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 11]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 12]

## 指定版本 ##

\-p指定位置  
\-c是指定版本，先把0跑起来  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 13]  
有条件大，没条件小  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 14]  
读入配置文件  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 15]

## root\_dir ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 16]  
取标签的  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 17]  
取数据的  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 18]

### 读入图像 ###

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 19]  
路径，opencv读进来是BGR的，我们需要一个RGB的，转换格式，再进行一个归一化操作  
![在这里插入图片描述][4dfee33b51b4460ebca4b99bfa3e6dd8.png]![在这里插入图片描述][cda1b9890e5741a6b440d057aeed17bd.png]

### 读入标注 ###

拿到对应图像，一个图像可能对应多个标注，一张图像中可能有多个框，每个框对应一个id值。  
先初始化成一个list，遍历去取，同时过滤异常现象  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 20]  
得到一个图像  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_18_color_FFFFFF_t_70_g_se_x_16]  
加载图像，循环多次，构成一个batch  
构建完成  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 21]

## 定义前向传播 ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 22]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 23]

# 解释网络 #

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_17_color_FFFFFF_t_70_g_se_x_16]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 24]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/b1735c09ab45454b865c79006ca51e85.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/6a4e5d3d3f9e4f1096cc6ae63a9800e7.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/da38440f8c36439aa85d94a84721992a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/a63b2112bc0d43e197736280099a9e54.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/db44c0a5baa747dbad7c3bf3266040d0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220828/720e10b297724995a34251a1d4dbbb59.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 6]: /images/20220828/a29d993eb9eb487299658951ca86e6be.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 7]: /images/20220828/5c5b3d711b1e446bba2a71bfc0fd9f1e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 8]: /images/20220828/e934379ecb624a7d822726295afdd928.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_15_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/c4528e359a35472b8e732701ea640015.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 9]: /images/20220828/1626d9192ee34cabad4ba6d747519024.png
[6eaa9e2982c94f668cb0f111a55c9f89.png]: /images/20220828/fe57f74ccc8444868f1383ce47425fc2.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 10]: /images/20220828/ee7d543fe96e4a38a60eb358c55ef129.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 11]: /images/20220828/15ecd7c3e51c495490fd3a6c759195aa.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 12]: /images/20220828/74794616a3a44620aea76185a96c30d1.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 13]: /images/20220828/d2e64f4eac234d5e82b6c340f9f2c6c7.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 14]: /images/20220828/63fff26db4d346cf959f8cd869598863.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 15]: /images/20220828/e890505b46ee4276982c30a6ff20dd23.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 16]: /images/20220828/b4cd356f2d744f549e83156fd8bb1b1f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 17]: /images/20220828/a47293d72af54d71aef39cf63fabaaa2.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 18]: /images/20220828/03d574b771d342c8ba5dece8bddb1131.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 19]: /images/20220828/6c6a7948ef96451aaee84cea5b06ed50.png
[4dfee33b51b4460ebca4b99bfa3e6dd8.png]: https://img-blog.csdnimg.cn/4dfee33b51b4460ebca4b99bfa3e6dd8.png
[cda1b9890e5741a6b440d057aeed17bd.png]: /images/20220828/98d78e9a25a04cf6b2776c8fe2c08c2c.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 20]: /images/20220828/51c10f9ebcea43f0a4d0a874bbdbf3d8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_18_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/0512c3f4731646e1bb0bd4848a4d4de3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 21]: /images/20220828/53c2d81530e34bbf8f7a8aef5482fafa.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 22]: /images/20220828/71a8be2ddc3c49f79b57201effa0ea2f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 23]: /images/20220828/efde2036d9db4e9f982319ea1ec1103c.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/76a2debe9e374c5f941185c8cd3fbdbc.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 24]: /images/20220828/21966a2f79c445e882ef20f3b42872b0.png