Scrapy框架入门(pycharm)

痛定思痛。 2022-09-16 06:08 174阅读 0赞

### 文章目录 ###

*  一、Scrapy框架是什么？
 *  二、windows系统环境搭配
 *   *  1.先cmd命令行:
     *  2.下载Twested.whl文件:
     *  3.命令行:
     *  4.命令行:
 *  三、工程的创建及基本操作
 *   *  1.创建scrapy工程：
     *  2.基本操作
 *  四、爬取糗事百科的段子及其作者名字
 *  五、持久化存储之基于终端的持久化存储（未完待续）
 *  六、持久化存储之基于管道的持久化存储（含面试题）（未完待续）

--------------------

# 一、Scrapy框架是什么？ #

*  Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。
 *  Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。其吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等。(百度百科)
 *  功能：  
    \----高性能持久化存储  
    \----异步数据下载  
    \----高性能的数据解析操作  
    \----分布式

# 二、windows系统环境搭配 #

## 1.先cmd命令行: ##

pip  install  whl

## 2.下载Twested.whl文件: ##

*  [点这里下载whl文件, ][whl_]我的python是3.8版本，下载Twisted-20.3.0-cp38-cp38-win\_amd64.whl，下载对应的即可.
 *  命令行进入whl的下载目录: pip intall Twisted-20.3.0-cp38-cp38-win\_amd64.whl

## 3.命令行: ##

pip intall pywin32

## 4.命令行: ##

pip install scrapy

安装完后，命令行：scrapy,若不报错则安装成功  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBANTTlsI_pmL_mtps_size_20_color_FFFFFF_t_70_g_se_x_16]

# 三、工程的创建及基本操作 #

## 1.创建scrapy工程： ##

*  创建一个新的项目，再在其中创建一个目录《九、scrapy框架》
 *  进入“终端”  
    ![在这里插入图片描述][5a3909dd15cf42f6b11e477e4a48b850.png]
 *  进入当前文件目录：

> scrapy startproject xxxPro

cd 路径（路径可以直接复制粘贴）  
![在这里插入图片描述][40985f4b2b1c4270b67cb82ee6836741.png]  
\-指令：

scrapy   startproject    MyPro（工程名称随意）

![在这里插入图片描述][c8efceca954c4258abd9d37c928397b3.png]  
目录中就会多一个scrapy工程文件：  
![在这里插入图片描述][2880a9ee52b74d42b8820a704ddab19c.png]  
![在这里插入图片描述][c3d2d939c7f141c2a3f5ed23f0ea01d9.png]

*  进入工程目录：

> cd MyPro

![在这里插入图片描述][cdf953a0d1bb4b13a9b01a39cabba7b4.png]

*  在spiders子目录中创建一个爬虫文件:

> scrapy genspider spiderName www.xxx.com  
> (spiderName是文件名，www.xxx.com写随意，因为后面可以改)  
> 比如文件名叫SpiderMan，访问百度:scrapy genspider spiderMan www.baidu.com

![在这里插入图片描述][75b056d43ebf4329ac9e341cd594d5e7.png]  
![在这里插入图片描述][a7a2fdd24d184eeeaef7c68898099006.png]

## 2.基本操作 ##

*  先看我们创建的爬虫文件SpiderMan.py  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBANTTlsI_pmL_mtps_size_17_color_FFFFFF_t_70_g_se_x_16]

> 1.这里面只有一个类，继承了scrapy.Spider类，类中有一个方法parse，有一个参数response  
> 2.name是爬虫文件的名字  
> 3.allowed\_domains(允许访问的域名)是一个列表，里面最开始存的就是我们创建时写的www.baidu.com  
> 4.start\_urls是我们以后要发送请求的url  
> 5.allowed\_domains对start\_urls进行限制，即在start\_urls中的url，若allowed中没他的域名，则不能发送请求。但一般我们会把 allowed列表注释掉.  
> 6.方法parse是解析数据的方法，response就是我们请求url后得到的响应数据，我们要在这个方法中对其进行解析.

*  测试运行爬虫文件：

> 先测试输出一下访问得到的response  
> 在parse中: print(response)  
> ![在这里插入图片描述][70052c0cbf5f4b9786e97189a5a8714d.png]  
> 进入settings.py文件,修改ROBOTSTXT\_OBEY =True为False  
> 终端指令：scrapy crawl SpiderMan(文件名)  
> 结果输出许多东西，包括日志，错误，我们需要的信息等：  
> ![在这里插入图片描述][1e740ff4e4c14a2083062efd0b71ec9b.png]

*  去除不需要的无用的数据，保留错误日志：

> 进入settings.py文件，在任意处添加：LOG\_LEVEL=“ERROR”

结果只有我们需要的信息：![在这里插入图片描述][f1a076f2900c4677877a52a96220871f.png]

*  UA伪装

> 在settings.py文件中任意位置添加：  
> USER\_AGENT=‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36 Edg/92.0.902.55’

# 四、爬取糗事百科的段子及其作者名字 #

*  新建一个scrapy工程 QIushibaike
 *  网址：https://www.qiushibaike.com/text/
 *  我们需要写的是爬虫文件中的parse方法
 *  查网页，找到目标标签：  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBANTTlsI_pmL_mtps_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBANTTlsI_pmL_mtps_size_20_color_FFFFFF_t_70_g_se_x_16 2]  
    很明显可以找到作者及段子的标签。下面用xpath定位提取文本内容：

class QiushiSpider(scrapy.Spider):
    	    name = 'qiushi'
    	    #allowed_domains = ['www.qiushibaike.com']
    	    start_urls = ['https://www.qiushibaike.com/text/']
    	    def parse(self, response):
    	        #解析作者名称+段子内容
    	        print('========================================================================')
    	        i=1
    	        #循环遍历每个div(即每个段子的标签)直到标签为空停止循环
    	        while True:
    	            #xpath返回的是一个列表，但是列表元素一定是Selector类型的对象
    	            #extract可以将Selector对象中的data参数存储的字符串提取出来
    	            #content是段子内容，这里我们不用实例化etree对象，直接用response.xpath即可
    	            content=response.xpath(f'//div[@class="col1 old-style-col1"]/div[{
          i}]/a/div/span[1]/text()')
    	            author=response.xpath(f'//div[@class="col1 old-style-col1"]/div[{
          i}]/div/a[2]/h2/text()').extract()
    	            if not content:#若为空，则停止循环
    	                break
    	            else:
    	                s=content.extract()
    	                name=author[0].strip("\n")
    	                #对输出的内容做一下调整，看起来更工整
    	                print(f'用户【{
          name}】:')
    	                print(''.join(s).lstrip('\n').rstrip('\n'))
    	                i+=1

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBANTTlsI_pmL_mtps_size_20_color_FFFFFF_t_70_g_se_x_16 3]  
PS :若遇到输出的列表为空的情况：可能是Xpath错了，或者检查一下USER\_AGENT是否写了（尽量写上述的）  
代码如下（示例）：

# 五、持久化存储之基于终端的持久化存储（未完待续） #

# 六、持久化存储之基于管道的持久化存储（含面试题）（未完待续） #

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

[whl_]: https://www.lfd.uci.edu/~gohlke/pythonlibs/
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBANTTlsI_pmL_mtps_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/f8106e32004748379d19120366753798.png
[5a3909dd15cf42f6b11e477e4a48b850.png]: /images/20220828/6343cf7948a3425ea1c10985bb289371.png
[40985f4b2b1c4270b67cb82ee6836741.png]: /images/20220828/178cb70e3cf141cdb6700c481b3dbc34.png
[c8efceca954c4258abd9d37c928397b3.png]: /images/20220828/5c26c18bc42a45a9bbf2084edf97db32.png
[2880a9ee52b74d42b8820a704ddab19c.png]: /images/20220828/aa2ebf88bf8e4edb8c34f3380be36a94.png
[c3d2d939c7f141c2a3f5ed23f0ea01d9.png]: /images/20220828/d49814a622e54c1eb24fcbbe060a5e12.png
[cdf953a0d1bb4b13a9b01a39cabba7b4.png]: /images/20220828/a0f34f883b0f43a39894e9c594aef966.png
[75b056d43ebf4329ac9e341cd594d5e7.png]: /images/20220828/66da2fef008c402db85ea73f7fa8e2db.png
[a7a2fdd24d184eeeaef7c68898099006.png]: /images/20220828/7591a63c8542425498be131816a70aa8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBANTTlsI_pmL_mtps_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/db4a10b501614d5ca6ccc43ab2792165.png
[70052c0cbf5f4b9786e97189a5a8714d.png]: /images/20220828/1495545f7a9d470b86771c4593c5d6a6.png
[1e740ff4e4c14a2083062efd0b71ec9b.png]: /images/20220828/26db8ee5ba434459a7674d83459aae3f.png
[f1a076f2900c4677877a52a96220871f.png]: /images/20220828/f6e02b712f47437c875b8243eac5c414.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBANTTlsI_pmL_mtps_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/9988e99f25974d58be2c69ac103b23d6.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBANTTlsI_pmL_mtps_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/e5415636e9f34cc7aa793df1eddebf22.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBANTTlsI_pmL_mtps_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/222e29357c194f4cb8ecb3c2ac286f9c.png