【零基础学爬虫】scrapy框架的安装

青旅半醒 2022-04-24 08:02 388阅读 0赞

### 简介 ###

scrapy是一个强大的异步爬虫框架，具有丰富的组件，有了scrapy框架，我们只需要关心爬虫的逻辑就可以了。

### scrapy框架的安装 ###

scrapy的安装有多种方式,它支持 Python2.7版本及以上或 Python3.3版本及以上。下面说明 Python3环境下的安装过程

scrap依赖的库比较多,至少需要依赖库有 Twisted14.0,m34, pyopenSSL0.14。而在不同平台环境又各不相同,所以在安装之前最好确保把一些基本库安装好,尤其是 Windows

### windows平台 ###

**1.Anaconda**  
这种方法是一种比较简单的安装 scrap的方法(尤其是对 Windows来说),你可以使用该方法安装。

Anaconda是包含了常用的数据科学库的 Python发行版本,如果没有安装,可以到这里下载对应平台的包安装。如果已经安装,那么可以轻松地通过 conda命令安装 Scrap。  
安装命令如下

> **conda install scrapy**

--------------------

**方式二、比较繁琐**

*  安装lxml  
    最好的安装方式是通过wheel文件来安装:从[这里][Link 1]找到lxm的相关文件。  
    假如是 Python3.5版本, WIndows64位系统,那就找到  
    lxm-3.72cp35cp35 m-win amd64whl这个文件井下载,然后通过pip安装:  
    ![1240][]  
    下载后，运行如下命令安装：

> **pip install wheel**  
> **pip install lxm1-3.7.2-cp35-cp35m-win\_amd64.whl**

注意：上面的whl文件为你下载的那个文件名，要切换到下载文件所在的目录执行上述指令

*  安装 pyOpenSSL

[官方网站下载 wheel文件][wheel]，如当前最新版本

名称是pyOpenSSL-19.0.0-py2.py3-none-any.whl ，下载后安装即可。

> **pip instal pyOpenSSL-19.0.0-py2.py3-none-any.whl**

*  安装 Twisted

同理，[下载 wheel文件][wheel 1]，利用pip安装即可。

如Python 3.5版本，Windows 64位系统，下载Twisted‑19.2.0‑cp35‑cp35m‑win\_amd64.whl，然后使用pip安装：

> **pip instal Twisted‑19.2.0‑cp35‑cp35m‑win\_amd64.whl**

*  安装 pywin32

从[官方网站][Link 2]下载对应版本的安装包安装即可。

*  安装 scrapy

最后安装 scrapy即可，依然使用pip，命令如下:

> **pip instal scrapy**

### linux 平台： CentOS、RedHat、Fedora ###

**1.安装依赖库**  
确保一些必须的类库已经安装 ， 运行如下命令:

> **sudo yum groupinstal development tools**  
> **sudo yum instal python34-devel epel-release libxslt-devel libxml2-devel openssl-devel**

**2.安装scrapy**

> **pip instal scrapy**

#### Ubuntu、Debian、Deepin平台 ####

**1.依赖库安装**  
首先确保一些必须的类库已经安装 ， 运 行如下命令:

> **sudo apt-get instal build-essential python3-dev libssl-dev libffi-dev  
> libxml2 libxml2-dev libxslt1-dev zliblg-dev**  
> **2.安装 Scrapy**  
> 利用pip安装 Scrapy即可， 运 行如下命令:  
> **pip3 instal1 scrapy**

### Mac OS平台 ###

**1.依赖库安装**  
在Mac上构建Scrapy的依赖库需要 C编译器以及开发头文件，它一般由Xcode提供， 运 行如下命令安装即可:

> **xcode-select --instal1**  
> **2.安装 scrapy**

利用pip安装 scrapy即可， 运 行如下命令:

> **pip3 instal1 scrapy**

### 验证是否安装成功 ###

安装之后，在命令行下输入scrapy ，如果出现类似下方的结果，就证明Scrapy安装成功。  
![1240 1][]

公众号‘**菜鸟名企梦**’后台发送“scrapy”即可获取scrapy的pdf安装文档

--------------------

扫描下方二维码，**及时**获取更多**互联网求职面经**、**java**、**python**、**爬虫**、**大数据**等技术，和**海量资料分享**：公众号后台回复“**csdn**”即可免费领取【csdn】和【百度文库】下载服务；公众号后台回复“**资料**”:即可领取**5T精品学习资料**、**java面试考点**和**java面经总结**，以及**几十个java、大数据项目**，**资料很全，你想找的几乎都有**  
![扫码关注，及时获取更多精彩内容。（博主今日头条大数据工程师）][1240 2]

[Link 1]: http://www.ifd.uci.edu/-gohlke/pythonlibs/
[1240]: /images/20220217/cae67f9e341b4975b7ff2e2964735a42.png
[wheel]: https://pypi.org/project/pyOpenSSL/#downloads
[wheel 1]: https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
[Link 2]: https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
[1240 1]: /images/20220217/c7efb42cb5014034939da48f3d99127e.png
[1240 2]: /images/20220217/e5e1d36cac8f4c7c9feabb6d766ceefc.png