Pytorch编译maskRCNN问题：cpp_extension.py:189: UserWarning: Error checking compiler version for cl...

桃扇骨 2024-04-18 23:51 60阅读 0赞

## 先给出两个报错的内容： ##

d:\\Anaconda3\\envs\\torch\\lib\\site-packages\\torch\\utils\\cpp\_extension.py:189: UserWarning: Error checking compiler version for cl: \[WinError 2\] 系统找不到指定的文件。

d:\\Anaconda3\\envs\\torch\\lib\\site-packages\\torch\\utils\\cpp\_extension.py:189: UserWarning: Error checking compiler version for cl: 'utf-8' codec can't decode byte 0xd3 in position 0: invalid continuation byte

## 解决方案： ##

打开cpp\_extension.py，把编码改成' gbk'，下面我注释掉了原来的一行（match...)，添加了两个print用来追踪。

try:
            if sys.platform.startswith('linux'):
                minimum_required_version = MINIMUM_GCC_VERSION
                version = subprocess.check_output([compiler, '-dumpfullversion', '-dumpversion'])
                version = version.decode().strip().split('.')
            else:
                print("----windows operation system")
                minimum_required_version = MINIMUM_MSVC_VERSION
                compiler_info = subprocess.check_output(compiler, stderr=subprocess.STDOUT)
                # the default decode is 'utf8', since cl.exe will return Chinese, so ' gbk'
                #match = re.search(r'(\d+)\.(\d+)\.(\d+)', compiler_info.decode().strip())
                print("----compiler_info: ", compiler_info.decode(' gbk'))
                match = re.search(r'(\d+)\.(\d+)\.(\d+)', compiler_info.decode(' gbk').strip())
                print("----match: ", match)
                version = (0, 0, 0) if match is None else match.groups()
        except Exception:
            _, error, _ = sys.exc_info()
            warnings.warn('Error checking compiler version for {}: {}'.format(compiler, error))
            return False

䄜

## 问题的起源与解决过程： ##

原来的maskRCNN太久远，已经忘记是什么时候的事了，这次更新了pytorch，要重新编译。本来是想升级到pytorch1.2，但报错了。于是再回到pytorch1.0.1。还是原来的facebook/maskrcnn-benchmark，该项目原来就成功编译过，再编译应该是不会出问题的，命令很简单，

(torch) D:\maskrcnn-benchmark>python setup.py build develop
    #结果报错
    d:\Anaconda3\envs\torch\lib\site-packages\torch\utils\cpp_extension.py:189: UserWarning: Error checking compiler version for cl: [WinError 2] 系统找不到指定的文件。
      warnings.warn('Error checking compiler version for {}: {}'.format(compiler, error))

OK，找不到cl.exe是吧，那我call一个，预设一下环境

(torch) D:\maskrcnn-benchmark>call "C:\Program Files (x86)\Microsoft Visual Studio\2017\Community\VC\Auxiliary\Build\vcvars64.bat"
    **********************************************************************
    ** Visual Studio 2017 Developer Command Prompt v15.9.6
    ** Copyright (c) 2017 Microsoft Corporation
    **********************************************************************
    [vcvarsall.bat] Environment initialized for: 'x64'

补充说明：如果你用vs2019，那就用下面这条：

call "C:\\Program Files (x86)\\Microsoft Visual Studio\\2019\\Community\\VC\\Auxiliary\\Build\\vcvars64.bat"，通常检查一下，如果输出的不是中文，你就不会有gbk和utf-8冲突的问题了。

再来一次python setup.py build develop，就会出现第二条报错(注意我这里已经添加了两条追踪命令print("----windows operation system")，print("----compiler\_info: ", compiler\_info))，

(torch10) E:\AMaskRCNN\maskrcnn-benchmark>python setup.py build develop
    running build
    running build_py
    running build_ext
    ----windows operation system
    ----compiler_info:  b'\xd3\xc3\xd3\xda x64 \xb5\xc4 Microsoft (R) C/C++ \xd3\xc5\xbb\xaf\xb1\xe0\xd2\xeb\xc6\xf7 19.16.27026.1 \xb0\xe6\r\n\xb0\xe6\xc8\xa8\xcb\xf9\xd3\xd0(C) Microsoft Corporation\xa1\xa3\xb1\xa3\xc1\xf4\xcb\xf9\xd3\xd0\xc8\xa8\xc0\xfb\xa1\xa3\r\n\r\n\xd3\xc3\xb7\xa8: cl [ \xd1\xa1\xcf\xee... ] \xce\xc4\xbc\xfe\xc3\xfb... [ /link \xc1\xb4\xbd\xd3\xd1\xa1\xcf\xee... ]\r\n'
    d:\Anaconda3\envs\torch10\lib\site-packages\torch\utils\cpp_extension.py:188: UserWarning: Error checking compiler version for cl: 'utf-8' codec can't decode byte 0xd3 in position 0: invalid continuation byte
      warnings.warn('Error checking compiler version for {}: {}'.format(compiler, error))

看着这些乱码就头皮发麻，注意compiler\_info得到的是compiler的输出结果，subprocess.check\_output只不过对compiler进行了一次空的执行（参考python源码：如，Python-3.7.4\\Lib\\subprocess.py第351行），

compiler\_info = subprocess.check\_output(compiler, stderr=subprocess.STDOUT)

于是我直接运行了一下cl.exe，看看这个输出结果到底是什么玩意，

(torch10) E:\AMaskRCNN\maskrcnn-benchmark>cl
    用于 x64 的 Microsoft (R) C/C++ 优化编译器 19.16.27026.1 版
    版权所有(C) Microsoft Corporation。保留所有权利。
    
    用法: cl [ 选项... ] 文件名... [ /link 链接选项... ]

那么现在一目了然，这些中文就是上面对应的字符串，使用utf-8编码时是认不出来的，而python默认的情况下使用的正是utf-8。搞不懂微软啥时把这个cl.exe的运行输出也中文化了，唉，悲催。

b'\xd3\xc3\xd3\xda x64 \xb5\xc4 Microsoft (R) C/C++ \xd3\xc5\xbb\xaf\xb1\xe0\xd2\xeb\xc6\xf7 19.16.27026.1 \xb0\xe6\r\n\xb0\xe6\xc8\xa8\xcb\xf9\xd3\xd0(C) Microsoft Corporation\xa1\xa3\xb1\xa3\xc1\xf4\xcb\xf9\xd3\xd0\xc8\xa8\xc0\xfb\xa1\xa3\r\n\r\n\xd3\xc3\xb7\xa8: cl [ \xd1\xa1\xcf\xee... ] \xce\xc4\xbc\xfe\xc3\xfb... [ /link \xc1\xb4\xbd\xd3\xd1\xa1\xcf\xee... ]\r\n'

现在问题明白了，要正确识别compiler，就必须使用' gbk'编码，也就是我前面给出的解决方案。

当然，如果你换系统了，在采用utf8的情况下，别忘记改回来。

## 关于pytorch1.2的额外问题 ##

上面的内容即适用于pytorch1.0.1也适用于pytorch1.20，不过新版本的pytorch1.20有更多的麻烦，最主要的是，老的配置文件不能用了（当然如果你够熟悉，直接改），要用新的配置文件，同时你会发现新版本的maskRCNN有不少函数也已经发生了变化。

还有一处要格外注意，

File "e:\\maskrcnn-benchmark\\maskrcnn\_benchmark\\layers\\nms.py", line 5, in <module>  
    from apex import amp

ModuleNotFoundError: No module named 'apex'

需要安装apex,注意在windows下要到这里去下载，

[https://github.com/ptrblck/apex/tree/apex\_no\_distributed][https_github.com_ptrblck_apex_tree_apex_no_distributed]

linux则要到这里下载，

[https://github.com/NVIDIA/apex][https_github.com_NVIDIA_apex]

安装完成后，顺利的话就可以正常运行了。

## 后记： ##

### 办法一 ###

VS编译器换成中文版的以后，可以想像这个问题会成为python们的常态，所以要点只有两点，

1。首先是要

call "C:\\Program Files (x86)\\Microsoft Visual Studio\\2019\\Community\\VC\\Auxiliary\\Build\\vcvars64.bat"

如果你实在不知道怎么运行这个，就在路径中直接添加下面这条，注意可能是Hostx86/x64或其他的，取决于你的操作系统，

C:\\Program Files (x86)\\Microsoft Visual Studio\\2019\\Community\\VC\\Tools\\MSVC\\14.29.30133\\bin\\Hostx64\\x64

2。然后，修改你的D:\\Anaconda3\\envs\\torch36\\Lib\\site-packages\\torch\\utils\\cpp\_extension.py，大概从第183行左右（取决于你的版本）开始，try-else 中那段，我加了print(".......blabla....")的那段，不会的话你copy-paste就行。gbk前面有个空格，你少打了可运行不通的。

# First check if the compiler is one of the expected ones for the particular platform.
        if not check_compiler_ok_for_platform(compiler):
            warnings.warn(WRONG_COMPILER_WARNING.format(
                user_compiler=compiler,
                pytorch_compiler=_accepted_compilers_for_platform()[0],
                platform=sys.platform))
            return False
    
        if sys.platform.startswith('darwin'):
            # There is no particular minimum version we need for clang, so we're good here.
            return True
        try:
            if sys.platform.startswith('linux'):
                minimum_required_version = MINIMUM_GCC_VERSION
                version = subprocess.check_output([compiler, '-dumpfullversion', '-dumpversion'])
                version = version.decode().strip().split('.')
            else:
                print("________________windows operation system ______________________")
                minimum_required_version = MINIMUM_MSVC_VERSION
                compiler_info = subprocess.check_output(compiler, stderr=subprocess.STDOUT)
                print("________________compiler info:", compiler_info)
                #match = re.search(r'(\d+)\.(\d+)\.(\d+)', compiler_info.decode().strip())
                match = re.search(r'(\d+)\.(\d+)\.(\d+)', compiler_info.decode(' gbk').strip())
                version = (0, 0, 0) if match is None else match.groups()
        except Exception:
            _, error, _ = sys.exc_info()
            warnings.warn('Error checking compiler version for {}: {}'.format(compiler, error))
            return False

### 办法二 ###

不修改cpp\_extension.py的补充办法：

前面第一步不可以少！！！

因为只有 utf-8 将会被识别，那我们试试在系统中更变：设置-->控制面板 ->找到时钟和区域-> 管理->更改系统区域设置-->使用UTF-8 Unicode 来进行语言转换。如下图所示（图片中没有勾选你一定要选上，然后重启操作系统），

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Lid6LSd6KeG5YOPLemrmOeyvuW6puiuoeeul-acuuinhuiniQ_size_19_color_FFFFFF_t_70_g_se_x_16][]

题外话不良后果一个：设置完了后你的CMD,powershell字体会消失。解决办法是点击窗口-->属性修改字体即可。

[https_github.com_ptrblck_apex_tree_apex_no_distributed]: https://github.com/ptrblck/apex/tree/apex_no_distributed
[https_github.com_NVIDIA_apex]: https://github.com/NVIDIA/apex
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Lid6LSd6KeG5YOPLemrmOeyvuW6puiuoeeul-acuuinhuiniQ_size_19_color_FFFFFF_t_70_g_se_x_16]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/c2ea4f5074db43068926577ac1f78537.png