yolov7模型部署——环境搭建(python 导出onnx模型，c# OnnxRunTime-GPU版调用) 踩坑记录

青旅半醒 2024-04-03 12:10 105阅读 0赞

## 一，导出onnx模块 ##

### 1.1 运行python .\\export.py导出onnx模块 ###

yolov7提供了简单的点对点预测，不需要再重新写NMS，非常方便，于是当然采用--end2end方法啦，命令如下图：

![30bb28e048404e7f81933fa16fcd17d6.png][]

运行时发现没装onnx, 那就安装好了

### 1.2 安装onnx ###

conda install -c conda-forge onnx

![e91c5baa47b5410d8f3b2831dec623ab.png][]

但是！又出现了这个问题

![621c44e1a5074fabaf4715197be8a96e.png][]

原因是\_\_int\_\_()需要2到7个参数，但给了8个参数。查看代码export.py 159行，确实是8个参数：

![f6d45e08067246ef9ac71f62f33b9b64.png][]

修改为义下代码：

![9c66d49014424602b10fc30f0ee7b40d.png][]

问题解决。

## 2，.NET C\# Microsoft.ML.OnnxRuntime.GPU版调用onnx模型 ##

### 2.1 安装onnxruntime ###

Nuget c\#版onnxruntime安装：VS->工具->NuGet包管理器->管理解决方案的NuGet程序包

![313d73515fad4ad1befd5a8f62d14f59.png][]

公主用的[GPU版本][GPU]，安装好了（记住，这里有个坑，公主用了好几天时间才把这个坑填上T\_T）

![93097ee068df4632baf0ed1dc91f1826.png][]

貌似岁月静好，根据[ONNX RUNTIME官网][ONNX RUNTIME]的提示配置了CUDA GPU的选项，然而~~~写了个小demo运行时出现了找不到“OrtGetApiBase”入口点的问题：

![52997ac58b2e47e8aa12744f643a7726.jpeg][]

找不到入口点，最直接的就是dll的函数名变了呗，用dllimport解决！然而，用VS自带的dumpbin.exe查看函数的入口点函数名，名称并没有改变：

![332265a3da6f46778e901bc3c329aade.png][]

公主很抓狂，难道是依赖问题？DW查看依赖包，hin好，又是一堆飘红：

![50d2006f7b084150ae180a895e895b4d.png][]

网上查了查，[这里][Link 1]说明原来是DW不维护了的原因：

![bfbae6d0d9f647e7a32953cd2b681c3c.png][]

看了下，飘红的全是上述几个类型的包，也就是说依赖包也没有问题。继续查：终于有人遇到和我一样的问题了，他是这么解决的：

![0f3f9047f65848158b8615ad3f82aa80.jpeg][]

可是，人家估计是个大项目，我只是一个小demo，项目本身就是启动项目了。所以这个方案也pass掉。继续查看代码：引用块中妥妥的引用了

![7a692db24624478ca53a8a10056b389e.jpeg][]

，程序运行的时候也加载了模块![814ddf19424248e69467262db31629c1.jpeg][]

model list中也都存在了.

![135bc6dec16f476eb1e5b48a89818d0c.jpeg][]

公主真的快把头发薅光了~~~想摔桌子~~~一直到偶然[看到这里][Link 2]

![c3d89421ee4743b9b346d54e429695f1.png][]

真的想哭啊~~~~所以，查对文章很重要！！！为什么官网不介绍（至少我没找到）？为什么到处都说cpu版只能用在cpu上，gpu版本的既能用cpu也能用gpu？ 坑爹啊~~~！！！火速装好，onnxruntime。果然入口点的问题解决了！

然而，又出现了新问题：

![2e0f37b7804f4a55821339cea7f3c852.png][]

以为是版本问题，按照[官网][Link 3]介绍重新卸载安装[CUDA][] 11.4.4版本，一定要是11.4.4才能满足Notes提到的版本。ONNXRuntime也改成1.12版。

![4355a73f534540e3ac755cdc51448fe1.png][]

然并卵~~~

查看了下，visual studio模板中并没有CUDA的模板，难道因为cuda并没有装载到visual studio上？难道不是自动装载的吗？更新了下visual studio的配置：

![42c2b31652fd49bb99ecca3e891848e1.png][]

模板出现了：

![985349713bc04b3faac4276e86068468.png][]

然鹅，问题并没有解决。公主实在没办法了，网上资料甚少。直接在[github上发邮件给作者][github]，member回复的非常及时，一下子就指出了痛点，说我还是用的CPU 包：

![4ed6fdb7932947bd9e9b97c2bc1e8c5a.png][]

赶紧去bin/debug下查看dll包，确实是CPU版的。得！！！问题又回去了，安装上就用的是CPU包，不安装就有Entry point 问题~~~~~~

公主抱着试试看的态度，按照这个list重新升级安装了依赖包

![00c6be528f454778a248d6f648ea2e6e.png][]

然后删除了CPU版的onnxruntime。果然通过了，喜极而泣！！！上一张缺陷检测demo效果图：

![c2f1b9abe7634476ac93a2baa1286c59.png][]

PS：公主训练照片的尺寸是512\*512, 实际预测时用的照片尺寸是1024\*1024，但准确率也还是8错哒！！！！！

T\_T 难受，想哭~~~~~~这个破玩意整了四天，吃饭睡觉都在想着要怎么解决。公主都想说实在不行用python把项目重构一次直接用python算了~~~~还好还好，给自己点个赞顺便去吃顿火锅犒劳一下自己。还是想哭T\_T

代码有时间整理一篇博客出来，公主根据yolov7官方python代码一点点整理翻译成c\#的，也是耗费了巨大的精力T\_T。换平台调用实在是太坑了！！！！！

[30bb28e048404e7f81933fa16fcd17d6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/016e395d78164fdc86643e527b1801b1.png
[e91c5baa47b5410d8f3b2831dec623ab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/adb6eb3bec3f4b47a893562c4425eab2.png
[621c44e1a5074fabaf4715197be8a96e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e66d70be1fb149d285ba52b717f2b547.png
[f6d45e08067246ef9ac71f62f33b9b64.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/0e1e1d0aae8d4e1d94a2b3fa1cfee317.png
[9c66d49014424602b10fc30f0ee7b40d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/cc6869bfc87447578db613922ca5a85c.png
[313d73515fad4ad1befd5a8f62d14f59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/571ebb14666b425e91353386173dca0a.png
[GPU]: https://www.nuget.org/packages/Microsoft.ML.OnnxRuntime.Gpu#readme-body-tab
[93097ee068df4632baf0ed1dc91f1826.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/6a80cb638be84c82abc1a97fc94b77b8.png
[ONNX RUNTIME]: https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html
[52997ac58b2e47e8aa12744f643a7726.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e0f70000819f42abb8eeb0987af11368.jpeg
[332265a3da6f46778e901bc3c329aade.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/314cea9f626f4d65b8868b25628c83a0.png
[50d2006f7b084150ae180a895e895b4d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/0c850cecca41442ab8974df2ed5d4dbc.png
[Link 1]: https://www.javaroad.cn/questions/339277
[bfbae6d0d9f647e7a32953cd2b681c3c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/48583a2a127943afb2c106bf45c9656e.png
[0f3f9047f65848158b8615ad3f82aa80.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/389fa68655234078a9ef828cde028b64.jpeg
[7a692db24624478ca53a8a10056b389e.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d921c934b23a4feba7343f42fdbd4594.jpeg
[814ddf19424248e69467262db31629c1.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/357616c43e16444fbccbab7d2f228796.jpeg
[135bc6dec16f476eb1e5b48a89818d0c.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/21bf8d5f4e0f4e97b0691f1ec68042fb.jpeg
[Link 2]: https://developercommunity.visualstudio.com/t/applyonnxmodel-signature-for-gpu-execution-of-onnx/1392548
[c3d89421ee4743b9b346d54e429695f1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/b05650677c734e2ea860eb0a827184d6.png
[2e0f37b7804f4a55821339cea7f3c852.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/b85fa2444274454d93741ec633e8c04a.png
[Link 3]: https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider
[CUDA]: https://blog.csdn.net/anmin8888/article/details/127910084
[4355a73f534540e3ac755cdc51448fe1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/c6ee882d75be4b85b0ef8551590df1fa.png
[42c2b31652fd49bb99ecca3e891848e1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e6a2af65fd374ce69e1790677ede76ae.png
[985349713bc04b3faac4276e86068468.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a1ab140046c24cedb26b5db8b71064dd.png
[github]: https://github.com/microsoft/onnxruntime/issues/13542
[4ed6fdb7932947bd9e9b97c2bc1e8c5a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/efb080b14b0b46c98a136caad71c6b62.png
[00c6be528f454778a248d6f648ea2e6e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/75142692dca047889a3e6d6f891ad390.png
[c2f1b9abe7634476ac93a2baa1286c59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/30ac35a940a44d04847d35c39498e037.png