Python爬虫框架Scrapy安装

向右看齐 2022-08-04 13:34 355阅读 0赞

初级的爬虫我们可以利用urllib和urllib2库以及正则表达式来完成，而高级的功能更强大的爬虫我们可以使用爬虫框架[Scrapy][]来完成。

> 下面是我在Win7平台下的安装过程，我的Python是2.7.9版。

**1.安装Python**

> 到Python官网上下载安装，[https://www.python.org/downloads/][https_www.python.org_downloads]。

> 安装完成后配置环境变量，我安装在E:\\Applications\\Python27，就将以下两个路径加到Path变量中

E:\Applications\Python27;E:\Applications\Python27\Scripts

配置好了之后，在命令行中输入 python –version，如果没有提示错误，则安装成功。  
  
**2.安装pywin32**  
  
         Windows下必须安装pywin32.安装地址： [http://sourceforge.net/projects/pywin32/][http_sourceforge.net_projects_pywin32]  
         下载对应版本安装后，在Python命令行中引用pywin32，输入import pywin32如果没有报错则安装成功。  
  
**3.安装pip**  
  
         pip是用来安装其他必要包的工具，首先下载 [ get-pip.py][get-pip.py]  
  
         下载好之后，选中该文件所在路径，执行下面的命令

python get-pip.py

执行命令后便会安装好pip，并且同时，它帮你安装了setuptools  
  
        安装完了之后在命令行中执行

pip --version

检测安装是否成功。  
  
**4.安装pyOPENSSL**  
  
        OpenSSL是一个强大的安全套接字层密码库，Apache使用它加密HTTPS，OpenSSH使用它加密SSH,它不仅是一个库，还是一个多用途的、跨平台的密码工具。  
        在Windows下，是没有预装pyOPENSSL的，而在Linux下是已经安装好的。  
        安装地址: [https://launchpad.net/pyopenssl][https_launchpad.net_pyopenssl]  
  
**5.安装lxml**  
  
        lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML  
        安装VC++运行库，安装地址： [http://www.microsoft.com/en-us/download/details.aspx?id=44266][http_www.microsoft.com_en-us_download_details.aspx_id_44266]  
        执行如下命令即可安装lxml

pip install lxml

**6.安装Scrapy**  
  
       执行如下命令安装scrapy

pip install Scrapy

安装完成后在命令行输入scrapy检测是否安装成功。

[Scrapy]: http://scrapy.org/
[https_www.python.org_downloads]: https://www.python.org/downloads/
[http_sourceforge.net_projects_pywin32]: http://sourceforge.net/projects/pywin32/
[get-pip.py]: https://github.com/holif/baal/blob/master/get-pip.py
[https_launchpad.net_pyopenssl]: https://launchpad.net/pyopenssl
[http_www.microsoft.com_en-us_download_details.aspx_id_44266]: http://www.microsoft.com/en-us/download/details.aspx?id=44266