win10 python安装及环境配置、scrapy框架安装及PyCharm集成

梦里梦外; 2022-05-25 12:47 512阅读 0赞

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的Python应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。  
Scrapy安装环境必备项：python、pip工具、wheel模块、lxml模块、twisted模块、pyOpenSSL模块（需要OpenSSL）、scrapy模块

> 1、pip是一个安装和管理 Python 包的工具  
> 2、wheel本质上是一个 zip 包格式，用于 python 模块的安装、模块的发布  
> 3、lxml是python中处理xml的一个非常强大的库，可以非常方便的解析和生成xml文件  
> 4、twisted是用Python实现的基于事件驱动的网络引擎框架。  
> 5、pyOpenSSL是python的密码库（OpenSSL 是一个安全套接字层密码库）

接下来我们看看这些工具如何安装。

# 一、基础安装 #

## 1、python开发环境搭建 ##

1）python安装  
python编译工具官网的地址为：[https://www.python.org/downloads/][https_www.python.org_downloads]，下载好工具点击运行安装即可。  
2）python环境配置  
安装成功后在 “环境变量”-》“path”中将python安装目录和安装目录下的Scripts文件夹放入即可（如：在path环境变量中设置如下内容：C:\\Program Files (x86)\\Python36-32\\Scripts\\;C:\\Program Files (x86)\\Python36-32\\）  
3）python开发工具安装及配置  
python 常用的IDE开发工具是PyCharm，其下载网址是：[https://www.jetbrains.com/pycharm/download/\#section=windows][https_www.jetbrains.com_pycharm_download_section_windows] ，在改地址下载安装即可。  
安装好后，PyCharm工具的python环境配置如下，File-》settings打开配置窗口，按如下图配置即可  
![PyCharm][]

## 2、pip工具 ##

python安装包里默认包含了pip工具。  
由于本人使用的python版本是3.6的，其pip工具的版本是9.0.3，使用时会提示需要更新pip（如下图）  
![python][]  
所以输入提示更新命令

python -m pip install -upgrade pip

输出如下：  
![pip out][]

## 3、wheel模块 ##

wheel模块安装，使用指令

pip3 install wheel

输出如下：  
![wheel][]

## 4、lxml模块 ##

lxml模块，用命令 pip3 install lxml 安装，会提示缺少包的错误，因此该模块安装需要采取使用本地.whl文件，安装，该文件可以在 [https://www.lfd.uci.edu/~gohlke/pythonlibs/\#lxml][https_www.lfd.uci.edu_gohlke_pythonlibs_lxml] 下载。本人python版本是V3.6.5 32位的，因此选择了 lxml‑4.2.1‑cp36‑cp36m‑win32.whl，如下图  
![lxml.whl][]

执行如下命令，安装lxml模块

pip3 install lxml-4.2.1-cp36-cp36m-win32.whl

命令执行结果如下：  
![这里写图片描述][70]

## 5、pyOpenSSL模块 ##

pyOpenSSL安装前需要先安装了OpenSSL库，window未集成OpenSSL库，所以需要下载并且安装。  
1）OpenSSL安装  
下载地址：[http://slproweb.com/products/Win32OpenSSL.html][http_slproweb.com_products_Win32OpenSSL.html] ，本人下载的是 Win32 OpenSSL v1.1.0h该版本（如下图）  
![pyOpenSSL][]  
该安装包需要VC2008以上的库支持，本人有vs2017，可以通过vs2017安装包，自选如下组件，  
![vs2017][]  
2）pyOpenSSL安装  
输入命令进行安装

pip3 install pyOpenSSL

安装结果如下图：  
![pyOpenSSL][pyOpenSSL 1]

安装完成后，进入python，import OpenSSL没错误报错误，则成功。如下图验证  
![验证][70 1]

## 6、twisted安装 ##

twisted模块依赖PyOpenSSL、Zope.Interface、PyWin32，使用pip命令安装即可

#安装Zope.Interface
    pip3 install zope.interface
    #安装PyWin32
    pip3 install PyWin32
    #安装twisted
    pip3 install twisted

命令运行结果如下：  
![zope.interface][]  
![pywin32][]  
![twisted][]

## 7、安装scrapy ##

scrapy所依赖的环境在上面6个步骤中已经安装完成，下面使用pip命令安装scrapy即可

pip3 install scrapy

命令执行结果如下：  
![scrapy][]

通过上述步骤，即将scrapy开发环境搭建完成。

# 二、PyChram安装python模块 #

## 1、python模块通用安装手法 ##

在上述 基础安装->python开发环境搭建中已经讲到PyChram的安装和在PyCharm中的python库的设置，在此将介绍，PyChram中如何添加如pyOpenSSL、lxml等模块的方式。  
通过File -> Settings，在Settings弹出框左侧找到 Project Interpreter，点击 Project Interpreter，在右侧找到 ”+“进行模块的添加即可，如下图  
![添加模块][70 2]

## 2、PyChram集成Scrapy框架 ##

1）在工程根目录找到**init**.py，填入如下程序

#!/usr/bin/env python
    # -*- coding:utf-8 -*-
    
    from scrapy import cmdline
    #scrapy crawl itcast （house为爬虫名）
    #此处的语句即是采用的twisted框架库
    cmdline.execute("sscrapy crawl house".split())

2) 在 Run -> Edit Configurations…工具中创建python运行设置，如下图  
![run][]

创建好后，OK保存，点击运行即可  
![运行][70 3]

[https_www.python.org_downloads]: https://www.python.org/downloads/
[https_www.jetbrains.com_pycharm_download_section_windows]: https://www.jetbrains.com/pycharm/download/#section=windows
[PyCharm]: /images/20220525/61ffc24078f14dbfb92d329a951ee733.png
[python]: /images/20220525/489a737d17e043ee8fa6802cf2b06ba4.png
[pip out]: /images/20220525/3b7dc788b6fa417e88206182d0974b48.png
[wheel]: /images/20220525/ed06b3d613a74c82bcea305f2307cf01.png
[https_www.lfd.uci.edu_gohlke_pythonlibs_lxml]: https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
[lxml.whl]: /images/20220525/f9403d8b20514a82b8db98be2cdddbc6.png
[70]: /images/20220525/0e06a8e1793a4329984856c47d704660.png
[http_slproweb.com_products_Win32OpenSSL.html]: http://slproweb.com/products/Win32OpenSSL.html
[pyOpenSSL]: /images/20220525/82d38762fbf1453580e528b8afa4b65c.png
[vs2017]: /images/20220525/1148da41191b419196e5dd2ba848c462.png
[pyOpenSSL 1]: /images/20220525/7b1d5e5421624eb48f1451627221b891.png
[70 1]: /images/20220525/952e68b5cde84b289412affa62acb030.png
[zope.interface]: /images/20220525/811bf65fe47a4345a17a16d07ecb870f.png
[pywin32]: /images/20220525/01645604681f48a0a12cc4e3611e6b99.png
[twisted]: /images/20220525/8a2b4fd246294f57ac7c5ee78feddbb2.png
[scrapy]: /images/20220525/e9439fb5e5d34ca0b3a9643906586ab6.png
[70 2]: /images/20220525/327b4b0d4ef74953b3671e7a11a0bd20.png
[run]: /images/20220525/8e0ffecbbfa747cea9e7b0d1a912f58a.png
[70 3]: /images/20220525/59da9597459a4880a41a704ae813165e.png