pyspider学习之---- windows安装pyspider模块

拼搏现实的明天。 2022-12-17 11:53 479阅读 0赞

### 文章目录 ###

*   *  一、学习目标：
     *  二、安装步骤：
     *   *  0、scrapy和pyspider对比
         *  1、安装python3.5版本的python
         *  2、安装pyspider模块：
         *  3、在cmd中输入pyspdier：
         *  4、pycurl模块安装：
         *  5、最后，cmd执行：\`pyspider\`
         *  6、pyspider的官方使用文档和GitHub
     *  参考：

## 一、学习目标： ##

今天突然想安装下pyspider，一个python爬虫框架，但是发现我的python3.7安装不了，然后看了下pyspider模块，发现最大支持是python3.5，所以我就再安装一个python3.5版本的python。

## 二、安装步骤： ##

### 0、scrapy和pyspider对比 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 1]

通过模块对比，发现pyspider好像都不怎么维护了，模块已经是2年前的更新了。不过项目看还有更新。

想学就学习一下吧。

### 1、安装python3.5版本的python ###

[去官网下载即可][Link 1]

我现在的[python3.5地址][python3.5]，也可以和我一样：

### 2、安装pyspider模块： ###

我这边直接使用pip命令安装安装不上，所以我直接python安装。  
下载模块文件：  
[模块地址：][Link 2]  
[我下载的模块][Link 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 2]

下载之后，解压，然后在window的cmd中，进入解压的目录，  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 3]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 4]

这个时候pyspider安装完成。

### 3、在cmd中输入pyspdier： ###

然后需要什么模块补什么模块：  
比如举例其中一个例子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 5]

我的安装的所有模块：  
导出模块版本命令：

pip freeze > packages.txt

packages.txt模块：

certifi==2020.6.20
    chardet==3.0.4
    click==7.1.2
    cssselect==1.1.0
    defusedxml==0.6.0
    Flask==1.1.2
    Flask-Login==0.5.0
    idna==2.10
    itsdangerous==1.1.0
    Jinja2==2.11.2
    jsmin==2.2.2
    json5==0.9.5
    lxml==4.6.1
    MarkupSafe==1.1.1
    pycurl==7.43.0.3
    pyquery==1.4.1
    pyspider==0.3.10
    PyYAML==5.3.1
    requests==2.24.0
    six==1.15.0
    tblib==1.7.0
    tornado==4.5.3
    u-msgpack-python==2.7.0
    unknown==0.0.0
    urllib3==1.25.11
    Werkzeug==0.16.1
    WsgiDAV==2.4.1

### 4、pycurl模块安装： ###

[pycurl官网地址][pycurl]

我的模块【推荐下载我下载好的，因为蓝奏云不然上传whl结尾的，你解压一下，变成whl，然后使用pip install 然后把解压的whl文件拖到即可。】：  
下载:[https://wwa.lanzous.com/i8H3Uho811g][https_wwa.lanzous.com_i8H3Uho811g] 密码:7shq

![在这里插入图片描述][20201023161347676.png_pic_center]

### 5、最后，cmd执行：`pyspider` ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 6]

然后打开：[http://127.0.0.1:5000/][http_127.0.0.1_5000]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 7]

出现这个界面就是正常的显示了。

### 6、pyspider的官方使用文档和GitHub ###

我还没用过，具体还需要慢慢学习在总结，今天配置环境都搞了好久，干脆整理了出来。  
[官方使用文档][Link 4]  
[快速开始使用][Link 5]  
[pyspider模块GitHub地址：][pyspider_GitHub]

如果对你有帮助，可以给我点个赞哈

## 参考： ##

https://blog.csdn.net/u011451186/article/details/88222328  
https://blog.csdn.net/lang\_niu/article/details/104501473

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221122/d1f13b33eb4e451f877360f264356971.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221122/aa1e5f5e861f4a289c231ad9e1ab0f33.png
[Link 1]: https://www.python.org/downloads/windows/
[python3.5]: https://www.python.org/ftp/python/3.5.4/python-3.5.4-amd64.exe
[Link 2]: https://pypi.org/project/pyspider/#files
[Link 3]: https://wwa.lanzous.com/i3e2zho810f
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221122/70585ac2fbfa42e09fe0eeae6410f8fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221122/18d982b8e2d34ab489e1075b634e7f0e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221122/9e433c6b8d6844af8481ce1fe3900880.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221122/52cd91525c93455ab04fc635a2786e9a.png
[pycurl]: https://bintray.com/pycurl/pycurl/pycurl/view#files
[https_wwa.lanzous.com_i8H3Uho811g]: https://wwa.lanzous.com/i8H3Uho811g
[20201023161347676.png_pic_center]: /images/20221122/88e55ede4f864919924ac9ecc6563578.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221122/f7ea86b3d8c54701aaf5eb6e2d79ed02.png
[http_127.0.0.1_5000]: http://127.0.0.1:5000/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221122/0ccd2bddb5c940bdb88c2af7e1b5cd5e.png
[Link 4]: http://docs.pyspider.org/en/latest/
[Link 5]: http://docs.pyspider.org/en/latest/Quickstart/
[pyspider_GitHub]: https://github.com/binux/pyspider