ncnn上部署yolov5

我就是我 2022-11-11 14:44 340阅读 0赞

1、准备工作

*  U神的yolov5源码，[下载地址][Link 1]
 *  自己的模型或者yolov5官网发布模型
 *  linux系统（本在ubuntu18的docker环境下部署 ）
 *  ncnn源码，[下载地址][Link 2]
 *  opencv
 *  protobuf 
 *  opencv和protobuf必须安装否则在编译ncnn的时候，由于检测不到protobuf和opencv，onnx2ncnn工具不会被编译。

2、.pt文件转.onnx文件

将yolov5从torch框架转到ncnn上前需要用onnx工具先将.pt模型文件转化为.onnx文件，这里主要有两个中的步骤

1、python models/export.py --weights yolov5s.pt --img 640 --batch 1    #将.pt文件用onnx转化为.onnx文件
    2、python -m onnxsim yolov5s.onnx yolov5s-sim.onnx   #onnxsim 精简模型

3、编译ncnn

1)、安装opencv

sudo apt install libopencv-dev

2)、编译protobuf-2.6.1

下载

wget https://github.com/google/protobuf/releases/download/v2.6.1/protobuf-2.6.1.tar.gz

解压后编译

cd protobuf-2.6.1
    ./configure
    make -j
    make check
    sudo make install
    sudo ldconfig

3)、编译ncnn

git clone https://github.com/Tencent/ncnn.git
    cd ncnn
    mkdir build && cd build
    cmake ..
    make
    make install

4、onnx2ncnn(有坑)

步骤一

cd ncnn/build/tools/onnx/

步骤二

./onnx2ncnn yolov5s-sim.onnx yolov5s.param yolov5s.bin #这里yolov5s-sim.onnx为“.pt文件转.onnx文件”生成的文件，输出yolov5s.param yolov5s.bin

这里会出现以下问题，这是由于ncnn不支持focus，这是focus模块转换的报错，我们需要手动修改生成的.param文件的参数。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpbnV4X2Jpbg_size_16_color_FFFFFF_t_70][]

可以用vim或者其他文本编辑器打开.param文件，该文件主要修改两个大的地方，如图所示：

第一处，修改不支持的层

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpbnV4X2Jpbg_size_16_color_FFFFFF_t_70 1][]

第一处修改后：

![20210321004226259.png][]

这里主要是删除了不支持的层，并在ncnn中实现focus,删除10层 添加一层 减少了9层  
添加的一层的输出可以根据下一层的输入填写，图中已标红,这里176的计算方法为原始层数185-10+1（添加的Yolov5Focus层），167是下一个卷积层的输入。

第二处 修改网络输出的shape,例如原图：

![20210321005030209.png][]

第二处修改后：

![20210321005354889.png][]

这里输出全部改为-1(修改位置为绿色框选的部分)，否则回归会出来一堆bounding box，同时记住红色框出的字段，该字段为网络输出的name,在预测代码中，会根据该字段去结果，所以不同的网络需要修改此处。

5、修改yolov5的example代码，这里主要修改网络的输入和输出，输入为模型训练时image 的size,输出层name为第四步中红色框出的字段。

vim example/yolov5.cpp

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpbnV4X2Jpbg_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpbnV4X2Jpbg_size_16_color_FFFFFF_t_70 3][]

6、重新编译example，在build/example目录下会生成yolov5的可执行文件，此时就可以测试了。

[Link 1]: https://github.com/ultralytics/yolov5.git
[Link 2]: https://github.com/Tencent/ncnn.git
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpbnV4X2Jpbg_size_16_color_FFFFFF_t_70]: /images/20221022/46631f2927ff47ee8468afdec21bd8d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpbnV4X2Jpbg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210321003909725.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpbnV4X2Jpbg==,size_16,color_FFFFFF,t_70
[20210321004226259.png]: https://img-blog.csdnimg.cn/20210321004226259.png
[20210321005030209.png]: https://img-blog.csdnimg.cn/20210321005030209.png
[20210321005354889.png]: https://img-blog.csdnimg.cn/20210321005354889.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpbnV4X2Jpbg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210321010427248.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpbnV4X2Jpbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpbnV4X2Jpbg_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210321010642273.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpbnV4X2Jpbg==,size_16,color_FFFFFF,t_70