python3 [爬虫入门实战]爬虫之scrapy安装与配置教程

墨蓝 2021-06-10 20:42 540阅读 0赞

### 不得不说，自己经历过的，才是真的经历过，有很多网上的教程并不是很好，都是一把辛酸泪啊。 ###

> 网上很多教程都是python2.7的，少有python3的教程，找起资料来还是挺难的。搞了算是蛮久的，一个上午加上半个晚上， 不过最终还是搞出来了

--------------------

## 总结一下：方法对了，安装的方法还是蛮简单的 ##

前人的经验，别一开始就上来

> pip install Scrapy

不论如何这个绝对是有问题的

结果就是：

> error: Unable to find vcvarsall.bat

然后你就是到处找啊找啊，网上百度下来的教程基本上的解决方法就是下载版本对应的visual studio,但是也太大了。。。。。。而且网速看不下去啊

## 正确的姿势应该是这样子的： ##

> 1 使用wheel安装  
> 准备好这个网站：[http://www.lfd.uci.edu/~gohlke/pythonlibs/\#lxml][http_www.lfd.uci.edu_gohlke_pythonlibs_lxml]

安装步骤姿势：  
1 安装wheel

> pip install wheel

成功的样子：

![这里写图片描述][20160928112413212]

然后这个网站：  
[http://www.lfd.uci.edu/~gohlke/pythonlibs/\#lxml][http_www.lfd.uci.edu_gohlke_pythonlibs_lxml]  
搜 **Scrapy**

下载， 建议放在python35 bin下带有.exe 路径下，这样子比较好，毕竟文件是比较重要的说

> 2 在该控制台输入：pip install \[whell\]  
> 注：\[whell\]表示你的.whl文件，一定要全名，XXXX.whl

安装过程中可能会出现：

> Failed to build XXXX  
> 不过没有关系，但是到最后你还是会出现

twisted –》error: Unable to find vcvarsall.bat

因为scrapy框架是基于twisted 的， 所以又要去上面那个网站：

> [http://www.lfd.uci.edu/~gohlke/pythonlibs/\#lxml][http_www.lfd.uci.edu_gohlke_pythonlibs_lxml]

搜Twisted

Twisted, an event-driven networking engine.

Twisted‑17.5.0‑cp27‑cp27m‑win32.whl
    Twisted‑17.5.0‑cp27‑cp27m‑win_amd64.whl
    Twisted‑17.5.0‑cp34‑cp34m‑win32.whl
    Twisted‑17.5.0‑cp34‑cp34m‑win_amd64.whl
    Twisted‑17.5.0‑cp35‑cp35m‑win32.whl
    Twisted‑17.5.0‑cp35‑cp35m‑win_amd64.whl
    Twisted‑17.5.0‑cp36‑cp36m‑win32.whl
    Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl

选择对于的版本进行下载：cp35代表的是Python版本是多少，这里我的版本是python35，操作系统是win64位的，所以我这里进行Twisted‑17.5.0‑cp35‑cp35m‑win\_amd64.whl 文件的下载

输入命令：

> pip install \[whell\]

注意：这里的为whell还是文件的绝对路径，并且带上文件格式.whl

最后：安装成功之后

> 进行pip install scrapy

试着开始第一个项目：

> scrapy startproject firstscrapy

最后进行导入到pycharm IDE中，

在pycharm 中选择  
![这里写图片描述][SouthEast]

## 右键run就行了。 ##

[http_www.lfd.uci.edu_gohlke_pythonlibs_lxml]: http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
[20160928112413212]: /images/20210529/bf5088bc6b1a49c6b04d69f216b556aa.png
[SouthEast]: /images/20210529/12fe3f800f704516a9271b08f2628a3e.png