Python爬虫——使用Python爬取代理数据

旧城等待， 2021-07-25 12:20 424阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70]

--------------------

QQ 1274510382  
Wechat JNZ\_aming  
商业联盟 QQ群538250800  
技术搞事 QQ群599020441  
解决方案 QQ群152889761  
加入我们 QQ群649347320  
共享学习 QQ群674240731  
纪年科技aming  
网络安全 ,深度学习,嵌入式,机器强化,生物智能,生命科学。

叮叮叮：产品已上线 —>关注 官方-微信公众号——济南纪年信息科技有限公司  
民生项目：商城加盟/娱乐交友/创业商圈/外包兼职开发-项目发布/  
安全项目：态势感知防御系统/内网巡查系统  
云服项目：动态扩容云主机/域名/弹性存储-数据库-云盘/API-AIeverthing  
产品咨询/服务售后（同）

## 纸上得来终觉浅,绝知此事要躬行 ！！！   寻找志同道合伙伴创业中。。。抱团滴滴aming联系方式！! ##

--------------------

### 结构的分析以及网页数据的提取 ###

/2 首页分析及提取/

简单分析下页面，  
其中后面的 1 是页码的意思，分析后发现每一页有100 多条数据，  
然后网站底部总共有 2700+页 的链接，  
所以总共ip 代理加起来超过 27 万条数据，  
但是后面的数据大部分都是很多年前的数据了，比如 2012 年，  
大概就前 5000 多条是最近一个月的，所以决定爬取前面100 页。  
通 过网站 url 分析，可以知道这 100 页的 url 为:

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 1]  
规律显而易见，在程序中，我们使用一个 for 循环即可完整这个操作：  
![在这里插入图片描述][20210102080819154.png]  
其中 scrapy 函数是爬取的主要逻辑，对应的代码为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 2]  
通过这个方式，我们可以得到每一页的数据

/3 网页元素分析及提取/

接下来就是对页面内的元素进行分析，提取其中的代理信息。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 4]  
如上图，我们目的是进行代理地域分布分析，  
同时，在爬取过程中需要使用爬取的数据进行代 理更新，  
所以需要以下几个字段的信息：

Ip 地址、端口、服务器位置、类型

为此，先构建一个类，用于保存这些信息：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 5]  
这样，每爬取一条信息，只要实例化一个 ProxyBean 类即可，非常方便。

接下来就是提取元素过程了，
    在这个过程我使用了正则表达式和  BeautifulSoup 库进行关键数据提取。
    
    首先，通过分析网页发现，所有的条目实际上都是放在一个<table>标签中。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 6]  
该便签内容如下：

我们首先通过正则表达式将该标签的内容提取出来：
    
    正则表达式为：<table id="ip_list">([\S\s]*)</table>， 
    表示搜索<table id="ip_list">到</table>之 间的任意字符组成的数据。
    Python 中的实现如下：

![在这里插入图片描述][20210102081614882.png]  
其中得到的 data 就是这个标签的内容了。下面进一步分析。

进入到 table 中，发现每一个代理分别站 table 的一列<tr>，
    但是这些<tr>标签分为两类，一 类包含属性 class="odd", 另一类不包含

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 8]  
通过这种方式，就能获取到每一个列的列表了。

接下来就是从每个列中获取 ip、端口、位置、类型等信息了。进一步分析页面：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 9]  
我们使用正则表达式对 IP 进行解析，IP 正则如下：

\*\* (2\[0-5\]\{2\}|\[0-1\]?\\d\{1,2\})(.(2\[0-5\]\{2\}|\[0-1\]?\\d\{1,2\}))\{3\}\*\*

![在这里插入图片描述][20210102081718608.png]  
2、 端口字段  
![在这里插入图片描述][20210102081731424.png]  
端口由包裹，并且中间全部是数字，故可构造如下正则进行提取：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 10]  
3、 位置字段

位置字段如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 11]  
由 便签包裹，构造如下正则即可提取：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 12]  
4、类型字段

类型字段如下：

![在这里插入图片描述][20210102081831592.png]  
由包裹，中间为字母，构造正则如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 13]  
数据全部获取完之后，将其保存到文件中即可：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 14]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 15]  
/4 小结/

本次任务主要爬取了代理网站上的代理数据。主要做了以下方面的工作：

学习 requests 库的使用以及爬虫程序的编写；  
学习使用反爬虫技术手段，并在实际应用中应用这些技术，如代理池技术；  
学习使用正则表达式，并通过正则表达式进行网页元素提取；  
学习使用 beautifulsoup 库，并使用该库进行网页元素的提取。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70]: /images/20210725/6119235862514757bd7359587bf8b37a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 1]: /images/20210725/87736e659080435ab9c792e90768588c.png
[20210102080819154.png]: /images/20210725/c177fbc3a90c4d30800bf90e0b58efe4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 2]: /images/20210725/67ac292ba4454b78b0216b1ce987e6d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 3]: /images/20210725/8c76a6e6bcce42adbdeaf4a7855ce26e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 4]: /images/20210725/fbe80f7c4e4143f694a8a1ee46ce6439.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 5]: /images/20210725/dfcc2824aa2f49feaea977b59242521d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 6]: /images/20210725/b4c7395fc6db41f4894e19a3b1c1daf2.png
[20210102081614882.png]: /images/20210725/c4057738d9ad4e54bf29deccc77be5ec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 7]: /images/20210725/e8404b461b354178831bdef0a4666afe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 8]: /images/20210725/4cc519b4bdd3456398dcbe615f5cfb53.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 9]: /images/20210725/dbe6a23f3c624703a574643f395bee57.png
[20210102081718608.png]: /images/20210725/641a184428b44ea9a76d83ae76d528c4.png
[20210102081731424.png]: /images/20210725/f8fe4895ec9e4061bbd07f55f5a554ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 10]: /images/20210725/a73726a5dfe7460a91fbd06115aaa12b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 11]: /images/20210725/df74bdcc7e0b4a8cb2afd1fbb21ad0d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 12]: /images/20210725/47a423a4ff2c4d7fb484a9af8bc07aa8.png
[20210102081831592.png]: /images/20210725/715b42d4bab94326a8835b6060a09192.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 13]: /images/20210725/18ca264ef2ad443d85567526f5c965f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 14]: /images/20210725/c53facd3312b4c2984adbaa77a150436.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 15]: /images/20210725/e7c4eff287cb4a1fa90a6ee1f0c0de44.png