pyspider的下载安装（避坑指南）

分手后的思念是犯贱 2023-10-11 10:44 57阅读 0赞

**安装环境**

OS：Windows10

python：3.7.3

**入坑——>脱坑**

由于工作需要使用到爬虫，查看网上pyspider的安装

pip  install pyspider

结果出现Fatal error in launcher: Unable to create process using '"d:\\developmenttools\\python\\python.exe"  "D:\\IDE\\python\\Scripts\\pip3.exe" -version'

上网搜索发现安装pyspider之前需要安装pycurl依赖库，需要根据python版本选择要下载的pycurl版本（我的是python3.7，64位）

pycurl依赖库下载网址：[https://www.lfd.uci.edu/~gohlke/pythonlibs/][https_www.lfd.uci.edu_gohlke_pythonlibs]

![1634165-20190910183638527-1318713534.png][]

在cmd中使用pip命令安装pycurl，pip install  pycurl-7.43.0.3-cp37-cp37m-win\_amd64.whl依然报同样错误

Fatal error in launcher: Unable to create process using '"d:\\developmenttools\\python\\python.exe"  "D:\\IDE\\python\\Scripts\\pip3.exe"

我开始怀疑安装python的时候未安装pip插件，输入pip指令报错，确认pip插件未安装，但是打开python安装目录Scripts发现有pip.exe，挠头ing...

然后查找教程发现可以通过更新pip版本信息解决，于是输入python -m pip install --upgrade pip进行pip版本的更新（注意upgrade前是两个\-）

![1634165-20190910184916373-1647214986.png][]

终于出现pip成功安装的提示，然后输入pip命令检查，终于不再报错！！！

![1634165-20190910185620415-656164021.png][]

成功安装pip之后，就需要安装pyspider，再次输入pip install  pyspider还是报错

![1634165-20190910190041918-1653179627.png][]

突然想起来安装pyspider需要先安装pycurl依赖库（注意安装的时候需要pycurl的绝对路径）

pip install  D:Downloads/GoogleDownload/pycurl-7.43.0.3-cp37-cp37m-win\_amd64.whl，然后提示pycurl成功安装！

![1634165-20190910190128038-651811906.png][]

再输入pyspider的安装指令pip install pyspider就可以成功安装啦！

成功安装后输入pyspider all启动pyspider，发现无法启动，出现了新的问题？？？

![1634165-20190910191844641-804063636.png][]

经过查找资料后发现python3.7将async作为了关键字，所以文件中async作为变量函数的地方需要替换成其他（比如\_async）

D:\\IDE\\python\\Lib\\site-packages\\pyspider\\run.py（四处）

D:\\Downloads\\GoogleDownload\\D:\\IDE\\python\\Lib\\site-packages\\pyspider\\fetcher\\tornado\_fetcher.py（五处）

注意：run.py可以使用全部替换，tornado\_fetcher.py不能使用全部替换，必须一个一个替换，只替换变量及函数。

替换完成重新启动，发现卡在23333

![1634165-20190910191806230-320929957.png][]

打开 D:\\IDE\\python\\Lib\\site-packages\\pyspider\\webui\\app.py（一处），将关键字async也修改一下

重新启动，还是报错 - Deprecated option 'domaincontroller': use 'http\_authenticator.domain\_controller' instead.

打开D:\\IDE\\python\\Lib\\site-packages\\pyspider\\webui\\webdav.py，搜索domaincontroller

将domaincontroller替换成http\_authenticator.domaincontroller，再次重新启动，出现webui running on 0.0.0.0:5000，终于可以啦！（喜极而泣）

domaincontroller——>http\_authenticator.domaincontroller

![1634165-20190910200216710-1131118584.png][]

打开浏览器，输入localhost:5000，出现如下页面，表示pyspider正常启动访问。

![1634165-20190910200416569-1162414179.png][]

转载于:https://www.cnblogs.com/CKhomepage/p/11502640.html

[https_www.lfd.uci.edu_gohlke_pythonlibs]: https://www.lfd.uci.edu/~gohlke/pythonlibs/
[1634165-20190910183638527-1318713534.png]: https://img2018.cnblogs.com/blog/1634165/201909/1634165-20190910183638527-1318713534.png
[1634165-20190910184916373-1647214986.png]: https://img2018.cnblogs.com/blog/1634165/201909/1634165-20190910184916373-1647214986.png
[1634165-20190910185620415-656164021.png]: https://img2018.cnblogs.com/blog/1634165/201909/1634165-20190910185620415-656164021.png
[1634165-20190910190041918-1653179627.png]: https://img2018.cnblogs.com/blog/1634165/201909/1634165-20190910190041918-1653179627.png
[1634165-20190910190128038-651811906.png]: https://img2018.cnblogs.com/blog/1634165/201909/1634165-20190910190128038-651811906.png
[1634165-20190910191844641-804063636.png]: https://img2018.cnblogs.com/blog/1634165/201909/1634165-20190910191844641-804063636.png
[1634165-20190910191806230-320929957.png]: https://img2018.cnblogs.com/blog/1634165/201909/1634165-20190910191806230-320929957.png
[1634165-20190910200216710-1131118584.png]: https://img2018.cnblogs.com/blog/1634165/201909/1634165-20190910200216710-1131118584.png
[1634165-20190910200416569-1162414179.png]: https://img2018.cnblogs.com/blog/1634165/201909/1634165-20190910200416569-1162414179.png