Windows环境下安装scrapy

秒速五厘米 2023-07-14 03:20 64阅读 0赞

scrapy是Python开发的一个爬虫框架，很多情况下都是基于Linux系统安装，本篇将介绍windows环境下安装scrapy框架，亲测有效。

# 1.安装依赖 #

直接`pip install scrapy`会报错，原因是与scrapy相关的一些依赖包没有安装，而且依赖包的版本和操作系统不一致也会导致安装报错。常见的错误是Twisted和pywin32这两个模块安装失败。因此需要手动安装上述两个模块，下面将介绍安装的具体步骤。  
cmd打开命令窗口，输入命令`python -m pip install --upgrade pip`更新pip版本为最新版本。

1.  安装wheel模块  
    命令行输入`pip install wheel`，等待安装完成
2.  安装lxml模块  
    命令行输入`pip install lxml`，等待安装完成
3.  安装Twisted模块  
    Twisted模块和下方的pywin32模块手动安装，需要下载和Python版本、操作系统位数一致的wheel文件，否则手动安装也会失败，这里分享一个网址：  
    [https://www.lfd.uci.edu/~gohlke/pythonlibs/][https_www.lfd.uci.edu_gohlke_pythonlibs]  
    网页进去`Ctrl+ F`查找自己的模块，根据自己的Python和系统位数下载对应的版本即可，**这里我的Python版本是3.7，系统位数为64**，若跟我使用的环境一样，则省略下载步骤。模块链接：  
    链接：[https://pan.baidu.com/s/1XDdDWuqoUJghvV1Lndg5nA ][https_pan.baidu.com_s_1XDdDWuqoUJghvV1Lndg5nA]  
    提取码：jms4  
    链接内容如下图：  
    ![在这里插入图片描述][2021052008194760.png]  
    cp37表示3.7版本，amd64表示64位。  
    下载到本地后，进入到下载文件所在的目录，如我的在桌面下的**安装依赖**文件夹下，在地址栏输入cmd，回车打开命令行窗口。  
    ![在这里插入图片描述][20210520082741445.png]  
    输入命令`pip install Twisted-19.2.1-cp37-cp37m-win_amd64.whl`，回车等待安装完成。上述文件名太长，手动输入耗时长，容易打错，因此输入前几个字母，按tab键则会自动补全。
4.  安装pywin32模块  
    方法和Twisted一样。

# 2.安装scrapy #

所有依赖安装完成且没有任何报错的情况下，`pip install scrapy`安装scrapy就不会报错。

[https_www.lfd.uci.edu_gohlke_pythonlibs]: https://www.lfd.uci.edu/~gohlke/pythonlibs/
[https_pan.baidu.com_s_1XDdDWuqoUJghvV1Lndg5nA]: https://pan.baidu.com/s/1XDdDWuqoUJghvV1Lndg5nA
[2021052008194760.png]: /images/20230529/5240881a26f8447495cc58e0f20a0596.png
[20210520082741445.png]: /images/20230529/1fcb78cac1f24c8681bf0d088c388e01.png