python网络爬虫（9）构建基础爬虫思路

墨蓝 2022-01-20 03:51 295阅读 0赞

**阅读目录**

*  [目的意义][Link 1]
 *  [功能模块][Link 2]
 *  [设计思路][Link 3]
 *  [主文件设计][Link 4]
 *  [HTML下载器设计][HTML]
 *  [HTML解析器设计][HTML 1]
 *  [URL管理器设计][URL]
 *  [数据存储器设计][Link 5]

## 目的意义 ##

基础爬虫分5个模块，使用多个文件相互配合，实现一个相对完善的数据爬取方案，便于以后更完善的爬虫做准备。

这里目的是爬取200条百度百科信息，并生成一个html文件，存储爬取的站点，词条，解释。

本文思路来源书籍。其代码部分来源书籍。[https://book.douban.com/subject/27061630/][https_book.douban.com_subject_27061630]

## 功能模块 ##

主文件：**爬虫调度器**，通过调用其他文件中的方法，完成最终功能实现。

其他文件：**URL管理器**，**HTML下载器**，**HTML解析器**，**数据存储器**。

## 设计思路 ##

定义SpiderMan类作为爬虫调度器。输入根URL开始爬取数据然后爬取结束。

在爬取过程中，需要获取网页，和解析网页。

解析网页需要**HTML解析器**，获取网页需要**HTML下载器**。

解析网页需要解析的数据有：URL，TITLE，CONTEXT等。则需要**URL管理器**和**数据存储器**。

## 主文件设计 ##

主文件添加根URL，然后提取该URL，下载该URL内容。

根据内容，调用解析器：

解析出该URL中的新URL，存入URL管理器；

解析出该URL中的标题，文本等信息，存入数据存储器。

完成后开始下一次。这时URL管理器多出了新的URL，提取出新的URL，下载，解析，不断重复即可。

重复结束以提取出的URL数量超过200则结束。

代码如下：

作为最初的设计，应该允许异常抛出，便于查看程序终止的原因，然后排查错误。

## HTML下载器设计 ##

下载网页，返回文本。即可。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 </td> 
 <td> <code>import</code>&nbsp;<code>requests</code> <code>import</code>&nbsp;<code>chardet</code> <code>class</code>&nbsp;<code>HtmlDownloader(</code><code>object</code><code>):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>def</code>&nbsp;<code>download(</code><code>self</code><code>,url):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>url&nbsp;</code><code>is</code>&nbsp;<code>None</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>None</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>user_agent</code><code>=</code><code>'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0'</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>headers</code><code>=</code><code>{ </code><code>'User-Agent'</code><code>:user_agent}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>r</code><code>=</code><code>requests.get(url,headers</code><code>=</code><code>headers)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>r.status_code&nbsp;</code><code>is</code>&nbsp;<code>200</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>r.encoding</code><code>=</code><code>chardet.detect(r.content)[</code><code>'encoding'</code><code>]</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>r.text</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>None</code> <code>&nbsp;&nbsp;&nbsp;</code>&nbsp; </td> 
 </tr> 
 </tbody> 
</table>

## HTML解析器设计 ##

HTML解析器将下载的文本进行解析，需要解析出的数据有：**页面的新URL**，**页面的新数据文本**。

建立相应的解析器，**需要打开源码对比**，然后进行使用源码分析，使用BeautifulSoup获取所需信息。

为了便于主函数调用或者其他原因，将所有数据通过parser实现返回，其parser分别调用获取URL和获取数据文本的信息。

为了处理一些不同网页可能抓取的意外情况导致程序终止，添加了一些判断。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 </td> 
 <td> <code>import</code>&nbsp;<code>re</code> <code>from</code>&nbsp;<code>urllib&nbsp;</code><code>import</code>&nbsp;<code>parse</code> <code>from</code>&nbsp;<code>bs4&nbsp;</code><code>import</code>&nbsp;<code>BeautifulSoup</code> <code>class</code>&nbsp;<code>HtmlParser(</code><code>object</code><code>):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>def</code>&nbsp;<code>parser(</code><code>self</code><code>,page_url,html_cont):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>page_url&nbsp;</code><code>is</code>&nbsp;<code>None</code>&nbsp;<code>or</code>&nbsp;<code>html_cont&nbsp;</code><code>is</code>&nbsp;<code>None</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>soup</code><code>=</code><code>BeautifulSoup(html_cont,</code><code>'lxml'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>new_urls</code><code>=</code><code>self</code><code>.getNewUrls(page_url,soup)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>new_data</code><code>=</code><code>self</code><code>.getNewData(page_url,soup)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>new_urls,new_data</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>def</code>&nbsp;<code>getNewUrls(</code><code>self</code><code>,page_url,soup):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>new_urls</code><code>=</code><code>set</code><code>()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>links</code><code>=</code><code>soup.find_all(</code><code>'a'</code><code>,href</code><code>=</code><code>re.</code><code>compile</code><code>(r</code><code>'/item/.*'</code><code>))</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>link&nbsp;</code><code>in</code>&nbsp;<code>links:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>new_url</code><code>=</code><code>link[</code><code>'href'</code><code>]</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>new_full_url</code><code>=</code><code>parse.urljoin(page_url,new_url)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>new_urls.add(new_full_url)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>new_urls</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>def</code>&nbsp;<code>getNewData(</code><code>self</code><code>,page_url,soup):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>data</code><code>=</code><code>{}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>data[</code><code>'url'</code><code>]</code><code>=</code><code>page_url</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>title</code><code>=</code><code>soup.find(</code><code>'dd'</code><code>,</code><code>class_</code><code>=</code><code>"basicInfo-item value"</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>title&nbsp;</code><code>is</code>&nbsp;<code>not</code>&nbsp;<code>None</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>data[</code><code>'title'</code><code>]</code><code>=</code><code>title.string</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>summary</code><code>=</code><code>soup.find(</code><code>'meta'</code><code>,attrs</code><code>=</code><code>{ </code><code>"name"</code><code>:</code><code>"description"</code><code>})</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>data[</code><code>'summary'</code><code>]</code><code>=</code><code>summary[</code><code>'content'</code><code>]</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>data</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>else</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>title</code><code>=</code><code>soup.find(</code><code>'meta'</code><code>,attrs</code><code>=</code><code>{ </code><code>"name"</code><code>:</code><code>"keywords"</code><code>})</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>title&nbsp;</code><code>is</code>&nbsp;<code>not</code>&nbsp;<code>None</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>data[</code><code>'title'</code><code>]</code><code>=</code><code>title[</code><code>'content'</code><code>]</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>summary</code><code>=</code><code>soup.find(</code><code>'meta'</code><code>,attrs</code><code>=</code><code>{ </code><code>"name"</code><code>:</code><code>"description"</code><code>})</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>data[</code><code>'summary'</code><code>]</code><code>=</code><code>summary[</code><code>'content'</code><code>]</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>data</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>else</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>data[</code><code>'title'</code><code>]</code><code>=</code><code>"ERROR!"</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>data[</code><code>'summary'</code><code>]</code><code>=</code><code>"Please check the url for more information"</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>data[</code><code>'url'</code><code>]</code><code>=</code><code>page_url</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>data</code> </td> 
 </tr> 
 </tbody> 
</table>

## URL管理器设计 ##

为了避免重复的URL，使用python的set，建立集合初始化。参阅：[https://www.runoob.com/python3/python3-set.html][https_www.runoob.com_python3_python3-set.html]

使用old\_urls存储已经访问过的网址，使用new\_urls存入将要提取的网址。

然后写好has\_new\_url等方法，辅助主程序调用。当得到新的URL们时，主程序调用函数将他们存入。

而主程序需要的其他URL管理方案，如提取，数量判定等，也在这里实现。

## 数据存储器设计 ##

通过HTML解析器获取的数据，通过数据存储器进行存储。

而最终将数据从内存写入到本地磁盘，也在该文件实现。

为了调试美观，建议是先爬取一两个数据做好测试，写好table的宽度设定，加入style='word-break:break-all;word-wrap:break-word;'参数。参阅：[https://zhidao.baidu.com/question/1385859725784504260.html][https_zhidao.baidu.com_question_1385859725784504260.html]

最终效果：

当然还有一些数据没有处理好。

![1325410-20190609203914800-403763340.png][]

[Link 1]: https://www.cnblogs.com/bai2018/p/10994735.html#_label0
[Link 2]: https://www.cnblogs.com/bai2018/p/10994735.html#_label1
[Link 3]: https://www.cnblogs.com/bai2018/p/10994735.html#_label2
[Link 4]: https://www.cnblogs.com/bai2018/p/10994735.html#_label3
[HTML]: https://www.cnblogs.com/bai2018/p/10994735.html#_label4
[HTML 1]: https://www.cnblogs.com/bai2018/p/10994735.html#_label5
[URL]: https://www.cnblogs.com/bai2018/p/10994735.html#_label6
[Link 5]: https://www.cnblogs.com/bai2018/p/10994735.html#_label7
[https_book.douban.com_subject_27061630]: https://book.douban.com/subject/27061630/
[https_www.runoob.com_python3_python3-set.html]: https://www.runoob.com/python3/python3-set.html
[https_zhidao.baidu.com_question_1385859725784504260.html]: https://zhidao.baidu.com/question/1385859725784504260.html
[1325410-20190609203914800-403763340.png]: /images/20220120/1344f0e878854a6d93030c95ac3a13e7.png