CV算法工程师的36条避坑经验

心已赠人 2022-09-10 14:11 168阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

原文地址：https://zhuanlan.zhihu.com/p/363354912

大佬可以写总结给别人指导，菜鸟可以写总结给别人指坑。

原本打算是正式工作满一年以后写的，最近反思了很多事情，也找到了很多不足之处。怕以后忘记了，就想到什么写什么，什么没想到以后就补上。

**01**

算法篇

![d02b309e3eccc63249489785b1235efc.gif][]

1、虽然我没有发表过顶会论文，谈不上学术成就。但是我还是要硬谈，在实际我们做算法落地的时候，最重要的东西其实是数据。一个CV算法项目的流程迭代基本都是：产品分析，业务指标制定，算法调研，采集数据1W左右就够了，出一个demo，产品测试，有初步badcase，其中肯定有泛化性问题。因为就1W数据。先增加数据量级，在增大数据量级的时候要考虑badcase有哪些情况，还有数据采集这个事情也是需要一定经验的。当你考虑的case比较多的时候，很难做到穷举。制定好数据采集策略非常重要。

2、算法优化的套路不是提高指标，是要解决业务问题。学术上统计一个测试集的mAP(比如检测)，业务中是要根据实际业务场景分开建立测试集，比如暗光下测试集，带遮挡测试集，通用场景测试集等等，要针对业务场景进行优化，业务场景下测试集就是算法和测试那边沟通。

3、端侧的算法优化要考虑部署问题 ，就这么说吧，你打开SNPE的文档，基本照着里面的支持看基本就是八九不离十了。有些常见的考虑点时激活函数基本就是只用Relu，带有逻辑操作的比如ROIAlign等等没法部署，确切地说不能直接生成一个Graph做Forward，需要构建两个网络，上采样的方式有Deconv，Interp(nearest, bilinear), UpPooling，空洞卷积这几种，但是不同的方式在不同的芯片平台支持是不一样的。还有全连接的耗时可能在有些平台上也不太行。简单来说除了conv relu，其他的东西都要在做之前有个调研和考虑。还有可能会有限制输出Tensor数量和输入Tensor数量的问题。其他的就是不同平台的量化支持不同了。讲了这些我想现在还有人在用VGG还是可以理解的。Make VGG Great Again。

4、工作中最重要的不是论文的创新，尤其在初期做算法的套路，流程要清楚。以及执行力要Max，还要有一定的数据敏感性。在标注数据的时候需要界定什么是正样本什么是负样本，什么是无法判断(ignore)，什么时候需要脑补，什么时候不需要脑补，这个非常非常重要，数据标错了后续要花费很多力气改正 。

5、要保证实验的正确性，一开始实习的时候会经常跑错实验，或者实验跑到一半挂了，这会大大降低效率。做事情要慢一点，但是要正确。

6、用tmux管理实验非常方便，要写好实验日志，保证自己能够看哪一行就知道这个实验做什么改动，并且可以直接找到实验结果保存的地方，我一般通过名字来体现，比较复杂的就写备注。

7、CV不像推荐广告NLP，不需要用到SQL，Hadoop之类的数据查询等工具，CV数据的管理要有自己的一套章法。要做到每一张图片都是可溯源的，图片和视频，抽帧频率，这些都需要列表。如果需要对图片做后处理，比如人脸数据，中间的结果人脸检测bbox，抠出来的图等等都要有记录，脚本要整理好，一个任务从抽帧开始到最后训练的图片，分步骤处理并且每个步骤都保留中间结果，主要不要保留图片，保留坐标等信息。保留图片会占用太多存储 空间。每一个数据都要有专门的表格来记录，不然以后整理其数据来有你难受的。

8、一个坑就是图片的保存不要保存为jpg,jpg是有损压缩模式，你每次保存都会导致图片的质量不断下降，我一般都是png，不用bmp是因为bmp太大了。

9、因为图片和标注都是放在磁盘上，所以要有自己的风格，我的风格就是data目录放视频，Images目录放图片，Scripts目录放脚本，Ann目录放处理完的标注文件，Ann\_pre放标注人员返回的原始标注文件。其中每个目录中会根据任务需求建立子目录， 数据的信息必须要包括的是任务+时间，其他看着需求加。

10、要定期整理自己的文件内容。

11、写模型的训练和推理代码的时候要按部就班来做，前处理的所有操作做完后在进网络之前把所有的GT都画在图上，保证进网络之前的结果都是正确的。生成target的时候也要把所有Target画出来，保证是正确的。

12、别着急写代码，先想好每个模块的输入输出是什么，写某个模块的时候用pdb看下输入和输出是否正确，一步一步来。

13、图片和标注文件定好之后加下只读权限，不然哪天手贱给删了不知道上哪哭去。

14、训练模型之前要确认的事情有:进网络的图片和GT画出来，确认是否会有问题。网络的Target画出来确认是否会有问题，这两点没问题Loss再下降那恭喜你等着看demo了

15、WarmpUp要加上，这东西谁用都说好

16、GradNorm打出来，如果崩了也好分析

17、LearningRate一般就SGD和Adam，CosineLR等这些不怎么影响你最终的结果，可能会加快收敛.

18、要积累自己的代码库，这样很多时候只要搜一下copy过来改改就可以用，最重要的是不用再去查API浪费时间了

19、提升代码能力和算法能力的最好的方式就是看好的开源代码，多看多写才能提高思维能力。

20、CV算法好卷啊，检测，分割 ，识别，跟踪，OCR，ReID，分类，GAN，动作迁移，SLAM，深度估计，3D相关，姿态估计，图像检索，NAS，量化，立体匹配，图像复原，……，What's Fuck，我这一写感觉自己跟个白痴一样好多都不懂。。。。

21、要用好vim和shell,在CV任务里面vim最常用的是一些文件的合并，交集，差集，排序，去重等等。shell命令+管道机制可以让你快速地做很多事情，不然从头开始写python代码也是比较费时间的。最常用的是find + 通配符找文件，然后对文件进行删除，移动等等操作

22、opencv是必须要熟悉的，简单的读取，存储，画图的API是必须记住。其他的要积累脚本。不过目前来看很少用到一些传统特征。如果需要用到那句把这些脚本都存储下来。

23、数据标注完成后处理成数据集一定要考虑仔细了，在转格式的时候一定要加上一些格式确认，比如标注检测框是否有左上角的坐标值却小于右下角这种异常情况，这个图片是否是已经被损坏了等等。很多时候你找半天bug发现是数据的问题。

24、工作中没人关注你的算法是不是新的，是不是牛逼，代码有多难写，不能为了新颖而新颖。能解决badcase的就是好优化，不然就是白搭 。

25、要保证自己实验的可复现性，做优化的过程中会 经常需要改一些小细节。可能对之前的实验有影响，尽量改成传参的方式，不然也可以继承重新写一个类。

26、算法工程师要多向工程部署的同事请教，看看模型部署的时候需要考虑的东西有哪些，资源占用，速度优化等等是怎么做的。

27、不要忽略算法的后处理，在实际用的时候经常会加一些后处理的逻辑判断，这个也非常重要，有时候能解决很多问题。

28、目前我知道算法优化的有效常用方案是：加数据，数据增强，好的pretrain\_model，正负样本均衡的优化，正负样本采样相关优化，知识蒸馏，额外监督比如检测中加分割基本能涨点，attention模块，多尺度，特征融合，合适的backbone，NAS搜索(应该大家都在做)，量化训练，剪枝。其他比如算法流程的大改动，一般人真做不了，比如VGG->MobileNet,DeepSort->CenterTrack，YOLO->YOLOv5，这些硬通货都是大神的杰作，要向大神学习，但是不要一口吃胖子。

29、python脚本要熟练编写，多线程操作要信手拈来，数据 处理经常会需要多线程处理。

**02**

成长篇

![a603adb41e6fda11b7470a60f7a8e778.gif][]

1、要相信自己，不要总觉得自己不如别人，要对自己有信心，才能让别人对你有信心。

2、要不断学习，我的人生宗旨就是我可以菜得被开除，但是我不能因为无所事事浑水摸鱼被嫌弃。

3、要和同事友好相处，工作之后明显就交际圈小了很多，同事是交流最多的人，不管怎么样，都要客客气气。多帮别人一点，别人才会多帮你一点。

4、要拼搏，但是不要拼命，程序员本质上也只是一个打工的，干点活，拿点钱，不要把命搭上去。生活 还会很美好的

5、要去了解外界，不要一头就在代码里，要有个爱好，跳舞，跑步，拍照，旅游，这样你才会能找到生活的感觉。

6、心态要躺平，我的心态就是什么事情我都会努力去做，如果我努力去做了却没做好那是我能力问题，给我3.25，给我开除我也接受。我要做的就是总结下为什么没有把事情做好，去反思自己遇到的哪些问题，走了哪些弯路，下次不要再犯。

7、不要抱怨家庭的出生，抱怨永远解决不了问题，已经五六十岁的父母难道还指望他们改变你的命运让你成为富二代？

**END**

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![0e8688761f3ce3bc1e60098f0ba7e83f.png][]

[d02b309e3eccc63249489785b1235efc.gif]: /images/20220829/e14b13467cb54af8960f001c71d99011.png
[a603adb41e6fda11b7470a60f7a8e778.gif]: /images/20220829/762f39a157be422a9d82d8e1bd91477f.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[0e8688761f3ce3bc1e60098f0ba7e83f.png]: /images/20220829/86276aaf41054d4a917f251fc13532ec.png