ZED相机 C# Api环境配置

「爱情、让人受尽委屈。」 2022-11-30 13:00 118阅读 0赞

### 文章目录 ###

*  ZED相机 C\# api环境配置
 *   *  为什么要配置ZED相机在C\#的Api环境
     *  基础环境
     *  环境配置
     *   *  基础条件
         *  配置过程
         *   *  Cmake生成工程文件
             *  构建Stereolabs.zed
             *  构建tutorials
             *  deomo
     *  问题记录
     *   *  构建tutorials时出现找不到Stereolabs.zed的错误
         *   *  ~~添加引用 sl\_zed\_interface.dll时报错，不是有效的程序集或者COM组件~~
     *  Update
     *   *  2020/8/26 配置3.2版本
         *  2020/8/26 卒

# ZED相机 C\# api环境配置 #

目前ZED相机官方提供的api主要针对的是C++和python。

## 为什么要配置ZED相机在C\#的Api环境 ##

任务需求：

1.  想要用Python中的pytourch对zed的彩色图像进行预测
2.  预策的结果需要和zed的点云匹配
3.  匹配的结果要在unity中实时透视显示 （增强现实）

这就引入了问题：

1.Unity中的zed插件可以获得彩色图像但是没有点云接口。  
2. Python能够同时获得两者，但是无法实时把图像传递给Unity（即使用UDP多线程也无法顺畅，最后的结果肯定是实时性的坑）。  
3. ZED提供的SDK不像Kinect那样可以同时在不同的程序里面读取相近时刻的图像。（就是两个程序同时读取图像)

考虑到Python中的网络要求输入的图像尺寸并不是很大，因此还是考虑在Unity中运行ZED相机，然后把图像数据压缩后用UDP实时传递给Python，Python再把识别的结果传回Unity。目前查看的博客内容能够了解到压缩后的图像可以一次性实时发给python（65535个字节以内)。 所以要解决的另外一个问题就是识别的结果如何和点云匹配。  
只有两种方法可行了，一种是在C\#中完成双目立体视觉的算法，另外一种是看看C\#中能否有Api直接调用zed的SDK了。 后来发现在ZED官方的github中还真有这个东西，但是是测试版，文档和环境配置没有C++和Python那么方便，因此记录一下。  
另外，考虑到后面用开发Hololens2，而主要的程序也是unity和C\#上，所以也顺便多学习一下C\#语言。

这真是一个心累何以概括。 本来很简单的一个环境配置问题。 结果因为官方的工程文件里面的一个小毛病整了一天。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center]

## 基础环境 ##

系统版本：win 10 专业版  
VS版本：VS2019  
Unity版本：8.0

## 环境配置 ##

主要参考： [zed C\# api 工程][zed C_ api]

### 基础条件 ###

1.  [下载Zed的 SDK][Zed_ SDK] 重新更新了下自己的，发现8月12号出了3.2版本。  
    注意要和自己的CUDA版本匹配，CUDA版本和Python中的Pytourch所需的版本也要匹配。我的CUDA是10.2的. 后来发现官方Github-APi暂时还没有升级到3.2版本，在[分叉的仓库][Link 1]中有他们的工作人员新提交了，但是还没有被整合进去。 这边最好还是下载3.1版本的SDK 下面图片就不修改了。  
    所以我下载的是以下版本：  
    ![在这里插入图片描述][20200824220621273.png_pic_center]
2.  VS2017带C\#拓展的， 我自己的是2019版本的，先试试看吧。
3.  相应CUDA，这个是英伟达显卡的驱动软件，自己倒腾着下载吧， 记得要和python深度学习框架的版本结合起来，不要这边可以用了 那边不能用。我记得我的是V10的。
4.  Cmake3.8 最新的（支持C\#的） [下载传送门][Link 2]  
    自己下载了最新的3.18版本
5.  下载github 上 C\# api的工程资源 [下载传送门][Link 3]

### 配置过程 ###

#### Cmake生成工程文件 ####

1.  把下载下来的Api工程文件解压缩，放置到C盘ZED SDK的根目录下(C:\\Program Files (x86)\\ZED SDK)（路径不是必须的，自己习惯而已)  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 1]

2 用管理员身份打开Cmake  
第一个路径指向资源的文件夹，主要为了查找CMakeLists.txt文件，所以要选择以下的路径  
第二个路径指向生成代码的路径，最好也是这个路径，我试过放在根目录下不好使  
![在这里插入图片描述][20200825091729162.png_pic_center]

1.  点击下面的Congigure,选择 X64模式

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 2]

1.  选择后提示 配置done ，然后点击生成，提示生成done。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 3]
2.  查看该路径会发现多了很多文件  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 4]

#### 构建Stereolabs.zed ####

1.  右键以管理员的权限打开刚刚生成的工程文件，Stereolabs.zed.sln。用VS打开  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 5]
2.  点成生成，生成解决方案  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 6]  
    ![在这里插入图片描述][20200825092625160.png_pic_center]
3.  点选解决方案资源管理器的INSTALL，然后再右键 生成 选择生成INSTALL。这样会在bin文件夹中添加Sterolabs.zed.dll 和sl\_zed\_interface.dll文件  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 7]

#### 构建tutorials ####

按照上面 的构建流程构建这个工程。  
这边有一个很大的坑。  
Sterolabs.zed.dll 和sl\_zed\_interface.dll是两个代码相同的文件，但是是不同的动态链接库，前者是托管类型的，就是也.net类型的。可以直接在C\#中被引用；后者是C语言生成的，非托管的，不能直接被C\# 引用。 前面构建的过程实际上是把后者生成前者，让C\# 能够直接调用。  
然后这边构建tutorials的过程 实际上是生成几个调用了这个Sterolabs.zed.dll的案例供我们参考。 但是坑爹的是，官方的解决方案中，在Image\_Capture中误引用了sl\_zed\_interface.dll这个文件，导致一再生成解决方案都是报错。 折腾了一天才明白这里面的道理，由于这个版本是内测的版本，官方人员也还没意识到这里面的小问题。 解决办法很简单，就是把里面的那个引用项移除，添加生成后的Sterolabs.zed.dll就可以。

#### deomo ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 9]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 10]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 11]

## 问题记录 ##

### 构建tutorials时出现找不到Stereolabs.zed的错误 ###

这个问题处理了好久，在构建这个zed项目的时候就发现生成的东西在调试的时候，显示拒绝访问。  
后来仔细看了一下官方github的分叉请求，发现官方的这个GitHub似乎还不支持3.2版本的。因此重新装了3.1版本SDK。 真是自己给自己挖坑。

![在这里插入图片描述][20200825095458941.png_pic_center]  
重新换了3.1版本的SDK后仍然存在同样的问题。最终找到了解决方案。  
在打开的项目中，发现之前构建的那两个DLL文件都无法在引用中正常加载进来，可能原本的初始配置文件有问题。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 12]  
解决办法，就是把这几个文件中含有那两个DLL文件的引用全都删除掉，  
![在这里插入图片描述][20200825142701755.png_pic_center]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 13]  
然后右键添加引用  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 14]  
在SDK的bin文件夹中，添加进去就可以，记得不要添加sl\_zed\_interface.dll，每个子项目里面添加一次Sterolabs.zed.dll就可以  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 15]

#### 添加引用 sl\_zed\_interface.dll时报错，不是有效的程序集或者COM组件 ####

错误如下图~~  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 16]  
这是因为这个文件并没有经过.net重新构建，不是一个托管代码，属于C、C++的动态库。 需要对他进行注册。

## Update ##

### 2020/8/26 配置3.2版本 ###

配置3.2版本的过程与3.1相差不大。  
[3.2 Api github][Link 1]  
[3.2 Api 下载传送门][3.2 Api]  
需要注意的是，

1.  在构建tutorials工程的时候需要把所有引用里面的sl\_zed\_interface.dll删掉。确保子工程里面添加了Stereolabs.zed。
2.  在depth\_sensing中的program.cs文件中，找到主函数，在第20行的代码的参数入口添加 0. 例如下图，  
    ![在这里插入图片描述][20200826093304859.png_pic_center]  
    我记得一共两处，编译的时候如果报下面错误就修改相应的地方就可以。  
    ![在这里插入图片描述][20200826093440529.png_pic_center]
3.  里面的object\_detection 和positional\_tracking虽然编译通过了，但是跑不起来，因为是测试版本的，估计是代码还不够稳定。 不影响，这边只是给我们提供了应用案例而已。

### 2020/8/26 卒 ###

25号配置了一天的API，26白天准备修改unity的插件，下午发现unity的插件能满足自己的需求。 一口老血喷出。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/b4aa6be54a344eddae00888dad432fdf.png
[zed C_ api]: https://github.com/stereolabs/zed-csharp-api
[Zed_ SDK]: https://www.stereolabs.com/developers/release/
[Link 1]: https://github.com/stereolabs/zed-csharp-api/tree/sdk_3.2
[20200824220621273.png_pic_center]: /images/20221123/51d31a1048a547f89178171ec7fc685b.png
[Link 2]: https://cmake.org/download/
[Link 3]: https://codeload.github.com/stereolabs/zed-csharp-api/zip/master
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/5b4c66cce0b0473584dae54c7c3ab6fc.png
[20200825091729162.png_pic_center]: /images/20221123/aa848d86c7df424facf3eb4ef2135613.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/018313c9210a4e2a8739c13054160245.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/f1ec655c91254781843519700af38c16.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/7432afc44d2043a49460338bde5dcbd8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/1581c74ec10e40bdade4a603219f056a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/2b7f6df8219244d589279a612d3b61ea.png
[20200825092625160.png_pic_center]: /images/20221123/45ae080c91354cc989ac5e09adf060cc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/2c35f29a6df945d9b29b1eb8edda6e1e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221123/87d3ce1ebad94e2aa48bae8e6608c79b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221123/80266bb1638a42df830de13d84961145.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221123/f2209e72ae2a4da9930ad119cde66f80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221123/b5b818303c754667b840ee208021a78a.png
[20200825095458941.png_pic_center]: /images/20221123/55b6186888b04420bf1da0c40ef89a03.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221123/f4cc9b99a11c49de8498773bd0e7f444.png
[20200825142701755.png_pic_center]: https://img-blog.csdnimg.cn/20200825142701755.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20221123/e183d1c8c38f4cef871965cec3c5dac1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 14]: /images/20221123/02cc544ee125407483dcb2f9bbcd0c37.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 15]: /images/20221123/2faf332bfaa3431ba642321941fac5e6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 16]: /images/20221123/272db9ed7d934fe79c2c06802cd666f7.png
[3.2 Api]: https://codeload.github.com/stereolabs/zed-csharp-api/zip/sdk_3.2
[20200826093304859.png_pic_center]: /images/20221123/a6a4746496c64ce9bf73a2bcd5054f96.png
[20200826093440529.png_pic_center]: /images/20221123/43ed50760c4347739fe499b19720e4af.png