【爬虫】爬取搜索引擎类页面的爬虫小框架 /爬取搜索结果页面的通用小爬虫（php和python实现）

喜欢ヅ旅行 2021-12-10 23:34 329阅读 0赞

最近抽时间总结了一下爬虫，写了一个小爬虫框架（工具），便于自己以后需要使用爬虫时不必重新再写，也作为爬虫教程示例记录一下。

**本爬虫适用于爬取搜索引擎的数据，适用于大多数搜索引擎的搜索结果页面的数据爬取。**

**整个爬虫的编写过程，即此类爬虫的实现思路如下：**  
1. 首先确认一个想要爬取的网页；  
2. 输入不同的关键字，选择不同的排序方式以及每一页显示的结果数量（如果有这些选项的话）等等；  
3. 每更改一次选项和点击一次“搜索”，就观察地址栏 url 参数的变化情况，以确定要爬取网页的 url；  
4. 使用该 url，编写代码尝试爬取网页源码；  
5. 爬取源码成功后，开始分析源码，写出用于匹配你想要的数据的正则表达式；  
6. 使用写好的正则表达式匹配源码，提取（解析）出你想要的数据内容；  
7. 根据你的需要处理这些数据。

**下面以爬取百度学术为例，写一个负责每天查看我的研究方向最新论文的爬虫，以便当出现新论文时，它能够及时提醒我查看。**  
很简单，很快就能学会。

## 实现步骤： ##

1.  打开百度学术，输入我的研究方向“protocol reverse”，点击“搜索”，观察地址栏的url。  
    然后选择“按时间排序”，如下图，可以看到地址栏url的“sort”参数值变成了“sc\_time”，这就是按时间排序的意思。然后再仔细观察可以看到url里还有个“wd”参数（word的缩写，不同的网站参数名一般也不同），该参数的值就是已输入的关键字，此参数可以手动修改，修改之后按回车，网站就会以新输入的关键字进行搜索，这和在搜索框输入和修改是一样的效果。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]
2.  复制该url到代码中，尝试将该url对应的源码爬取下来；
    
    贴上我实现爬取的php函数代码：

/* 爬取网站的html源码
     * $url        : 网站链接
     * $cookie     : 请求头部中的cookie值，即header中的cookie值
     * $proxy      : 代理ip，默认为空（若爬取源码失败，可能是主机ip被封，此时可以使用已有的代理再次尝试获取）
     * $proxy_port : 代理端口号，默认为空
     * $referer    : 来源地址，有些网站需要有该参数才能爬取到源码
     * $gzip       : 是否使用gzip编码
     * return      : 返回$url对应的网站源码
     */
    function get_html($url, $cookie='', $proxy='', $proxy_port='', $referer='', $gzip=false) {
        
        $ch = curl_init();
        // 设置选项，包括URL
        curl_setopt($ch, CURLOPT_URL, $url);
        //curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.3 Safari/537.36');
        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11');
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);      // 允许页面跳转，获取重定向
        curl_setopt($ch, CURLOPT_HEADER, 0);              // 设置头文件的信息作为数据流输出
        curl_setopt($ch, CURLOPT_TIMEOUT, 60);            // 60秒超时
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);  // https跳过检查
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);  // https跳过检查
    
        if($gzip) curl_setopt($ch, CURLOPT_ENCODING, "gzip"); // 编码格式
    
        if($cookie != '') {
        
            $coo = "Cookie:$cookie";
            $headers[] = $coo;
            curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);  // 设置请求头部信息
        }
        if($referer != '') {
        
            curl_setopt($ch, CURLOPT_REFERER, $referer);
        }
        if($proxy != '' and $proxy_port != '') {
        
            curl_setopt($ch, CURLOPT_PROXY, $proxy);
            curl_setopt($ch, CURLOPT_PROXYPORT, $proxy_port);
            curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
        }
        
        // 获取内容
        $output = curl_exec($ch);
        curl_close($ch);
        return $output;
    }

**python版本的：**

# /* 爬取网站的html源码
    #  * url        : 网站链接
    #  * cookie     : 请求头部中的cookie值，即header中的cookie值
    #  * proxy      : 代理ip，默认为空（若爬取源码失败，可能是主机ip被封，此时可以使用已有的代理再次尝试获取）
    #  * proxy_port : 代理端口号，默认为空
    #  * referer    : 来源地址，有些网站需要有该参数才能爬取到源码
    #  * return     : 返回$url对应的网站源码
    #  */
    def get_html(url, cookie='', proxy='', proxy_port='', referer=''):
    	try:
    		# 添加头部信息
    		header_dict = {
        
    			'User-Agent'   : 'Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko',
    			'Content-Type' : 'application/json',
    		}
    		if cookie:
    			header_dict['Cookie']  = cookie
    		if referer:
    			header_dict['Referer'] = referer 
    		if proxy:
    			proxies = {
        
    				'http'  : proxy + ':' + proxy_port,
    				'https' : proxy + ':' + proxy_port
    			}
    			response = requests.get(url, headers=header_dict, proxies=proxies)
    		else:
    			response = requests.get(url, headers=header_dict)
    
    		# 进行状态码判断，是否正确读取到网页
    		if response.status_code == 200:
    			write_log(url + " 爬取完成\r\n")
    			return response.text
    		return None
    	except RequestException:
    		return None

爬取源码其实是最关键也是最难的一步，因为很多网站都会有反爬虫机制，不让你爬取他们的数据，这就涉及到程序员之间的斗智斗勇问题了。

为了便于讲解，本文采用的例子是百度学术，该网页反爬虫不严格（只要别爬取太频繁，隔几秒爬一次就行）；所以暂不需要考虑反爬虫的问题，等你完全理解爬虫以后，再去尝试解决反爬虫机制吧。

1.  爬取到网页源码，开始分析  
    此时用浏览器打开源码，或者直接分析原网页，在网页上点击鼠标右键，选择“检查”，打开 **开发者工具**（或者直接按“F12”打开），然后可以很方便的观察到所需要的数据位于源码的什么位置，示例分析如下：  
    如下图，可以看到整个搜索结果列表（表格）是在  
    `<div id="content_leftrs"> </div>` 这对标签里的  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]  
    对比着源码查看，我们可以写出正则表达式：  
    `/<div id="content_leftrs">(.*?)<\/div>[ |\t|\r|\n]*<div id="guide-step">/s`，  
    看不懂的建议先去搜一下正则表达式的教程，很快就能学会的。
    
    接着分析列表中的每一项（行/块）数据是由  
    `<div class="sc_content"></div>`标签包裹着的：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]  
    结合源码，我们可以写出匹配每一项的正则表达式：  
    `/<div class="sc_content">(.*?)<div id="[\d]*"/s`。
    
    然后，在每一项中，再分析标题是由`<h3>`或`<a>`标签包裹着的：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]  
    写出匹配标题的正则表达式：  
    `/<h3 class="t c_font">(.*?)<\/h3>/s`。
    
    就这样一个个对所需要的数据的前后代码进行分析，然后写出各自的匹配正则表达式就行。建议**边分析边测试**正则表达式的匹配效果，这样能写得又快又准确。
2.  写出正则表达式之后，使用这些正则表达式匹配提取源码中的数据，一般每种语言都会有使用正则表达式匹配字符串的**库**或者**函数**，根据你所使用的语言进行处理就行。  
    php示例函数：

/* 解析指定网站源码的内容
     * $html     : 网页源码
     * $url_info : 源码网站相关信息，其中包含了需要匹配内容的正则表达式
     * return    : 返回网站内容解析结果
     */
    function get_content($html, $url_info){
        
        // 匹配整个表格
        preg_match($url_info['table_reg'], $html, $main_res);
        if(empty($main_res)){
        
            $log_info = $url_info['web_name']. " 列表匹配失败!\r\n";
            write_log($log_info);
        }
    
        // 匹配表格中的每行
        preg_match_all($url_info['row_reg'], $main_res[0], $rows_res, PREG_SET_ORDER);
        if(empty($rows_res)){
        
            $log_info = $url_info['web_name']. " 单行匹配失败!\r\n";
            write_log($log_info);
        }
    
        // 遍历每行数据
        foreach ($rows_res as $row) {
        
            //print_r($row);
            // 匹配此行标题
            preg_match($url_info['title_reg'], $row[1], $title_res);
            if(empty($title_res)){
        
                $log_info = $url_info['web_name']. " 标题匹配失败!\r\n";
                write_log($log_info);
            }
    
            // 匹配此行数据发布时间
            preg_match($url_info['pubtime_reg'], $row[1], $pubtime_res);
            if(empty($pubtime_res)){
        
                $log_info = $url_info['web_name']. " 发布时间匹配失败!\r\n";
                write_log($log_info);
            }
    
            // 匹配此行数据类型
            preg_match($url_info['type_reg'], $row[1], $type_res);
            if(empty($type_res)){
        
                $log_info = $url_info['web_name']. " 数据类型匹配失败!\r\n";
                write_log($log_info);
            }
            // 匹配此行链接
            preg_match($url_info['link_reg'], $row[1], $link_res);
            if(empty($link_res)){
        
                $log_info = $url_info['web_name']. " 链接匹配失败!\r\n";
                write_log($log_info);
            }
    
            // 合并结果
            $content_res[] = array(
                'title'   => str_replace(array("\r\n", "\r", "\n", "  "), '', strip_tags($title_res[0])),   // 去除多余的空格、标签与换行符
                'pubtime' => strip_tags(trim($pubtime_res[1])),
                'type'    => str_replace(array("\r\n", "\r", "\n", "   "), '', strip_tags($type_res[1]) ),  // 去除多余的空格、标签与换行符
                'link'    => $link_res[1],                                                                  //"http://kns.cnki.net/KCMS/". substr($link_res[1], 5),    // 知网拼接成有效地址
                'web_name' => $url_info['web_name'],                                          // 爬取的网站名称，当爬取的网站多时可用来区分数据来源
            );
        }
        if(empty($content)){
        
            write_log("源码解析失败！\r\n"); // 保存日志
        }else{
        
            write_log("源码解析成功！\r\n"); // 保存日志
        }
        return $content_res;
    }

**python版本：**

# /* 解析指定网站源码的内容
    #  * html_code : 网页源码
    #  * url_info  : 源码网站的相关信息，其中包含了需要匹配内容的正则表达式
    #  * return    : 返回网站内容解析结果
    #  */
    def get_content(html_code, url_info):
    	# 匹配整个列表
    	table_res = re.search(url_info['table_reg'], html_code, re.S)
    	if not table_res:
    		write_log("匹配列表失败！\r\n")
    
    	# 匹配列表中每一项
    	row_res  = re.findall(url_info['row_reg'], table_res.group(), re.S)
    	if not row_res:
    		write_log("匹配单项失败！\r\n")
    
    	# 遍历每一项
    	content_list = []
    	for row in row_res:
    		# - html标签正则模式，用于去掉结果中多余的标签
    		html_pattern = re.compile(r'<[^>]+>',re.S)
    
    		# - 匹配标题
    		title_res = re.search(url_info['title_reg'], row, re.S)
    		if not title_res:
    			write_log("匹配标题失败！\r\n")
    
    		# - 匹配发布时间
    		pubtime_res = re.search(url_info['pubtime_reg'], row, re.S)
    		if not pubtime_res:
    			write_log("匹配发布时间失败！\r\n")
    		
    		# - 匹配数据类型/来源
    		type_res = re.search(url_info['type_reg'], row, re.S)
    		if not type_res:
    			write_log("匹配数据类型失败！\r\n")
    		
    		# - 匹配数据链接
    		link_res = re.search(url_info['link_reg'], row, re.S)
    		if not link_res:
    			write_log("匹配链接失败！\r\n")
    		
    		# - 匹配结果放入字典
    		content_res   = {
        
    			'title'   : html_pattern.sub('', title_res.group(1)).strip(),   # 去除多余的空格、标签与换行符
    	        'pubtime' : html_pattern.sub('', pubtime_res.group(1)).strip(), # 去除多余的空格、标签与换行符
    	        'type'    : html_pattern.sub('', type_res.group(1)).strip(),  	# 去除多余的空格、标签与换行符
    	        'link'    : link_res.group(1),                                  # 链接里不会有多余空格等
    	        'web_name' : url_info['web_name'],                              # 爬取的网站名称，当爬取的网站多时可用来区分数据来源
    		}
    
    	 	# -拼接每一项的结果
    		content_list.append(content_res)
    
    	if content_list:
    		write_log( " 解析完成\r\n")
    	else:
    		write_log( " 解析失败！\r\n")
    	return content_list

下图是我解析出来的，已经转换成json格式的数据：（右边是json格式化工具显示结果）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4]  
我将解析出的数据以json字符串的形式保存到了文件中，（因为我的数据量少，还是推荐使用数据库，增删改查都更方便点）。  
假定我们将此文件称为“数据库文件”。

1.  继续编写代码，使程序每天爬取一次百度学术的数据，将爬取结果与数据库文件中的数据进行对比，若出现新的数据，则发送邮件进行提醒。
    
    因为数据库文件中的数据是一个json字符串，所以我们可以通过**查找子串**函数，检查新抓取的数据中的每一篇论文的标题是否是json字符串的子串，若不是，则表示该论文不在数据库文件中，属于新出现的论文。  
    （当然，如果使用数据库则更简单，直接使用select语句就知道论文是否已在数据库中。）
    
    若是新论文，则直接发送邮件提醒，下面是我的发送邮件提醒模块的实现效果：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5]  
    发送邮件模块的具体实现可以参考：[报警器的实现][Link 1]

**到此，该爬虫工具就完成了。**

**github源码：  
[php版][php]  
[python版][python]**

## 结语 ##

该爬虫小工具适用于各种搜索引擎的搜索结果页面，即适用于类似百度的**以列表形式展现内容**的页面。  
　　你只需要根据你想爬取的网页，配置好config文件，增加所需要的正则表达式等信息就行了，详情请参看源码。  
　　关于python版本，因为时间的关系我略微删减了一些内容，不过不影响使用。  
与此同时python版本发送邮件时一直返回554错误，说是被判为垃圾邮件不让发，此问题还没解决，不折腾了，各位有兴趣有时间的可以自己看看。（可尝试更换收件人、更换发件人、更换邮件标题、内容等方法）  
　　php版本的邮件可以正常发送。

注：  
php的源码中还有我爬取知网的配置数据，爬取和解析是没问题，只是cookie需要定时更新，比较麻烦，暂时没破解，也没时间折腾了，复习重要，如果感兴趣的可以尝试解决一下。这个cookie也是一种反爬虫策略，可以当作一个爬虫进阶挑战，哈哈~

若只想爬知网数据的话可以打开浏览器的开发者工具，然后打开知网搜索一下，复制http请求中的cookie粘贴到代码中作为配置信息，这样就能爬取到源码了。大约两三个小时需要更新一次cookie。

**后续处理反爬虫机制中，必不可少的使用代理问题可参考文章：[自建IP代理池][IP]**

**最后**  
第一次作此类总结，肯定会有不足的地方，请大家多多指教，若哪位发现了问题，烦请及时指出或与我联系，以便我及时修改，谢谢！?

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: /images/20211210/01a4706c59974e53b3d3f686cb93de13.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]: /images/20211210/2e1e0af20e2647b9b60c37276417710b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]: /images/20211210/1a00f340a2254bb2816c72ffc0362cf3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]: /images/20211210/4a9cd70af80647fcba6168d4eabb8a89.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4]: /images/20211210/abcaca3206e34449b5cbaeb1287e49b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5]: /images/20211210/7be3ee55fda04710bc225dea89fa168a.png
[Link 1]: https://blog.csdn.net/yohjob/article/details/94554895
[php]: https://github.com/yohstone/small-spider1
[python]: https://github.com/yohstone/small-spider2
[IP]: https://steve.blog.csdn.net/article/details/94062180