【零基础学爬虫】scrapy框架的基本使用

爱被打了一巴掌 2022-04-24 08:02 410阅读 0赞

### 回顾 ###

scrapy是一个非常强大的异步爬虫框架，组件丰富，我们只需要关注爬虫的逻辑即可。本文通过一个scrapy项目实战，来熟悉scrapy的使用

### 站点分析 ###

[目标站点][Link 1]:scrapy官方提供的抓取网站，主要是名人名言、作者标签之类的信息  
![1240][]  
网页结构非常简单  
![1240 1][]  
翻页url：  
[http://quotes.toscrape.com/page/5/][http_quotes.toscrape.com_page_5]  
该网站没有任何的反爬虫措施，结果也很简单

### 流程框架 ###

![1240 2][]

### 实现 ###

进入命令行，切换到工程文件夹执行：

*  scrapy startproject quote\_tutorial
 *  cd quote\_tutorial
 *  scrapy genspider quotes [quotes.toscrape.com][]
 *  打开pycharm，会发现如下图界面  
    ![1240 3][]

## 其中一个文件的内容如下：   ![1240 4][]   name：是唯一的标识   parse：用来解析爬取到的页面   其余文件介绍：   **1.配置文件**   ![1240 5][]   **2.items文件**   它其实是用来保存数据的一个数据结构   ![1240 6][]   **3.middlewares文件**   它其实是爬取数据时定义的一些中间件，可以用来处理request、response和一些exceptions之类的操作，可以用它来改一些request、response等一些相关的配置   **4.piplines文件**   管道，用来输出一些items，主要用做数据清洗、重复的检查、将数据存储到数据库   ![1240 7][]   **5.settings**   这个文件比较重要，里面对了很多配置信息。、实际上就是很多的变量   ![1240 8][] ##

最主要的代码都会在spider目录下写

### 运行 ###

![1240 9][]  
上图中的quotes是spider的唯一标识符，在之前也有介绍  
运行：**scrapy crawl quotes** 就是执行那么为quotes的spider  
下图是截取的另外一部分输出：  
![1240 10][]  
另外，我们该写下parse方法，该方法会在发起http请求后调用，主要是用来解析页面：  
![1240 11][]  
像之前一样运行：**scrapy crawl quotes** 后控制台就会输出请求成功后的网页源码  
parse方法其实回调，在spider调用执行的时候首先会调用上图中的start\_urls请求链接，然后会自动调用parse方法解析网页

### 网页分析和实现 ###

我们需要的数据有：

*  名言内容
 *  作者
 *  标签  
    ![1240 12][]  
    先前提过，scrapy中自动生成了很多文件其中有一个名字为item，这个文件是用来定义存储网页数据的数据结构。这个类需要按照需求重写：主要是指定一些字段，之后就可以把爬取后的数据按照一个一个的整体保存下来了。item文件的初始化内容如下图所示：  
    ![1240 6][]  
    上图中注释的**name**字段其实就是示例说明，针对本次爬虫的需求我们对该文件进行补充，最后如下图所示：  
    ![1240 13][]  
    上述就是依旧本次爬虫需求而定义的存储数据的数据结构

--------------------

**页面解析**  
数据结构定义好之后，我们需要进行页面解析也就是parse方法的编写：  
![1240 14][]  
本文的parse方法如下图所示：  
![1240 15][]

**scrapy调试**  
scrapy还提供了一个非常强大的根据：scrapy shell  
可以从terminal输入：**scrapy shell [quotes.toscrape.com][]**后面跟的是网址，之后就可以进入命令行交互模式下面，在这里进行一些调试  
![1240 16][]  
之后可以进行一些调试：  
![1240 17][]  
也可以进行一些选择器的调试：  
![1240 18][]  
![1240 19][]

**修改parse方法后运行**  
在修改parse方法后再在terminal中执行：**scrapy crawl quotes**  
运行结果图：  
![1240 20][]

### 翻页解析 ###

上面已经完成了单个页面的解析，接下来就剩翻页问题了。翻页可以通过url来请求：  
[http://quotes.toscrape.com/page/5/][http_quotes.toscrape.com_page_5]  
直接改变url中的页面数字即可完成翻页的请求，这个链接可以从response中获取:  
![1240 21][]  
使用css选择器即可：  
**next = response.css(’.pager .next a::attr(herf)’).extract\_first()**  
之后将next转换为绝对的url：  
**url = response.urljoin(next)**  
上面得到的就是下一页的绝对url

加上翻页功能，完整的parse函数如下图所示：  
![1240 22][]  
完成parse函数后，再次执行：  
**scrapy crawl quotes**  
结果如下：  
![1240 23][]

### 如何保存结果呢？ ###

**scrapy crawl quotes -o quotes.json**  
在当前目录下会生成quotes.json文件，文件中就是爬取的数据：  
![1240 24][]  
或者

*  **scrapy crawl quotes -o quotes.json**：可以使用json.loads解析
 *  **scrapy crawl quotes -o quotes.csv**
 *  \**scrapy crawl quotes -o quotes.txt*
 *  \**scrapy crawl quotes -o quotes.xml*
 *  \**scrapy crawl quotes -o quotes.jl*:其实是json line格式：一行一行的存储
 *  使用 **-o**输出结果到文件，通过文件名称后缀自动判断文件格式
 *  另外还支持：pickle、marshal等后缀的文件格式
 *  还支持远程保存:**-o [ftp://user:pass@ftp.example.com/path/quotes.csv][ftp_user_pass_ftp.example.com_path_quotes.csv]**

### 剩余工作 ###

保存之前可以做一些其他操作，比如：过滤掉一些不合格的item数据。这个功能可以借助piplines.py文件完成。该文件的原始内容如下：  
![1240 25][]  
这里我们只显示名言的前150个字符，如果名言的长度超过了150，则在后面用\*\*…\*\*替换piplines.py文件最终如下图所示：  
![1240 26][]

注意：**可以定义多个pipline**：比如写数据库之类的也可以使用pipline实现  
pipline定义后需要在setting文件中配置，当前启用哪几个pipline  
![1240 27][]  
最后，再次执行：  
**scrapy crawl quotes**  
执行结果表明达到了预期效果：  
![1240 28][]

### 项目源码 ###

上面给出了文章的核心代码分析，

扫描下方二维码，发送关键词“**scrapy**”即可获取本文的完整源码和详细程序注释  
![扫码关注，及时获取更多精彩内容。（博主今日头条大数据工程师）][1240 29]

公众号专注：**互联网求职面经**、**java**、**python**、**爬虫**、**大数据**等技术、海量**资料分享**：公众号后台回复“csdn文库下载”即可免费领取【csdn】和【百度文库】下载服务；公众号后台回复“**资料**”:即可领取**5T精品学习资料**、**java面试考点**和**java面经总结**，以及**几十个java、大数据项目**，**资料很全，你想找的几乎都有**

[Link 1]: http://quotes.toscrape.com/
[1240]: /images/20220217/d5cb706a72304b8aad2f87770700f735.png
[1240 1]: /images/20220217/f5f8bd758cee4e3c9ad4806a6ce09e44.png
[http_quotes.toscrape.com_page_5]: http://quotes.toscrape.com/page/5/
[1240 2]: /images/20220217/c3e38a4034444a97b0acc855b6691e97.png
[quotes.toscrape.com]: http://quotes.toscrape.com
[1240 3]: /images/20220217/d92c0b9b27e94d43aa1eb0fa12510f37.png
[1240 4]: https://upload-images.jianshu.io/upload_images/14326004-6539577b896d16f6.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240
[1240 5]: https://upload-images.jianshu.io/upload_images/14326004-ecd8c0eb4095545e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240
[1240 6]: /images/20220217/0f2021a960f74a4c9510bc9f783ff086.png
[1240 7]: https://upload-images.jianshu.io/upload_images/14326004-270b009f664f1def.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240
[1240 8]: /images/20220217/e63aaf174e474f3c997eb9ee7cfeb52b.png
[1240 9]: /images/20220217/a45044d96312437bb57ce8e4b604bc13.png
[1240 10]: /images/20220217/db67bec425dc4edbbbe37ecabc3cc476.png
[1240 11]: /images/20220217/b19b12b6f5c04b3d842cac0aead7e054.png
[1240 12]: /images/20220217/da2ae49ae0cb40d58f2bd0f8cbc57a4a.png
[1240 13]: /images/20220217/24e88c9100f648db9d250787d8aacfe3.png
[1240 14]: /images/20220217/f67d35085e134561b91f6499f3a61d15.png
[1240 15]: /images/20220217/6c81a706a36a407ab4676db8a566633e.png
[1240 16]: /images/20220217/c7b4b258fd01446cb8746e743cd78899.png
[1240 17]: /images/20220217/5ee9d548c5af431ab5ef00f64fb1c0c2.png
[1240 18]: /images/20220217/e6aad17d49ec40d397a6853dcc5027ad.png
[1240 19]: /images/20220217/23e66dc669ad4c1db05a5b1c962ac387.png
[1240 20]: /images/20220217/50fdc0f735154563abcf2d9a72c4d7dd.png
[1240 21]: /images/20220217/00fdeb30decf49588b9a81def882d460.png
[1240 22]: /images/20220217/206051c2206f431096bd5d089673b730.png
[1240 23]: /images/20220217/d13a955e567944a4959989142f5862ff.png
[1240 24]: /images/20220217/690e3a7cbfbd482ba6f5c7acdf6e8756.png
[ftp_user_pass_ftp.example.com_path_quotes.csv]: ftp://user:pass@ftp.example.com/path/quotes.csv
[1240 25]: /images/20220217/fd213bd88b7f42d988494d42645621e2.png
[1240 26]: /images/20220217/ff86d706a1d4451099ce52ef55d5b953.png
[1240 27]: /images/20220217/b220e190a2a94e9584b5ac9d6768e987.png
[1240 28]: /images/20220217/56bb1afe58d64367a076b14f1bc23d19.png
[1240 29]: /images/20220217/fbc65e8a03be4dc392e1eb70755f7409.png