【爬虫】IP代理池的总结、实现与维护，IP代理池小工具（小框架），自建代理ip池

清疚 2021-12-20 08:15 384阅读 0赞

最近开始着手总结以前做过的工作，写过的代码。

今天总结了以前写过的代理池维护模块，首先阐述一下个人理解的代理池：

#### 代理池 ####

代理池就是用于应付网站的反爬虫的备用代理ip集合。  
做过爬虫都知道，在抓取某些网站的时候，如果你抓取的频率太高了，你的ip就会被该网站封掉或者说屏蔽掉，接下来你就会爬取失败，所以此时你就需要使用代理来解决这个问题。因此，一个庞大而有效的代理池是每个爬虫系统都应该具备的，它将为爬虫系统的正常运行提供保障。

#### 前言（着急可略过此段） ####

想想以前做爬虫也有一年多的时间，虽说感觉当时的系统有很多地方需要完善甚至需要整个重构，但是由于时间原因，也只能将就着用了。现在由于我可能又需要再使用爬虫，因此我决定好好捋一捋此前的工作与思路，总结并思考优化方法。  
此次我单独将代理池模块提取出来，总结成一个小框架，便于未来的扩展和使用。当然，初次总结肯定会存在一些不足的地方，以后再慢慢改进吧。

#### 简介 ####

我的这个代理池工具或者说小框架非常简单，不需要数据库，也不需要安装额外的库，使用php实现，只要你系统里有php的执行环境就行。爬取的目标是免费的代理网站，因为代理网站发布代理前都会验证，因此该框架没有验证代理有效性的模块（有需要的可以自己扩展），适用于中小型爬虫系统，代理池中的代理数量可以根据需要自己扩展。当然也可以直接使用免费代理api进行扩展，看各自需求吧。

#### 运行流程 ####

1.  抓取目标代理网站源码；
2.  根据配置好的正则表达式匹配需要抓取的内容；
3.  整合抓取到的代理数据，以json格式存入文件中作为代理池。

#### 使用教程 ####

###### 1. 配置需要抓取的目标代理网站和相应的正则表达式； ######

此处以某网站为例，如图，需配置网站的地址、抓取的页数，然后再配置需抓取内容的正则表达式：  
![在这里插入图片描述][20190629100431634.png]  
下面举例解释一下如何分析出正则表达式：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]  
如上图，可看到该代理网站的免费代理是一个表格，我们在网页上点击鼠标右键，选择“查看网页源代码”，然后就可以到下图的源码：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]  
很明显的可以看出，整个表格的内容是由`<tbody> </tbody>`标签包裹着的，每行代理数据是由`<tr> </tr>`标签包裹着的，而每一列数据是由`<td > </td>`包裹着的，于是可以写出如下正则表达式：  
![在这里插入图片描述][20190629101710999.png]  
如果没学过正则表达式，建议先去看一下正则表达式的基本语法（很快就能学会）。  
`ip_reg`和`port_reg`可以设置成一样，因为ip之后的下一列肯定是端口号port，再匹配完ip之后，将ip那一部分截取掉，再匹配端口号，这样就比较方便。而代理类型所在列是不固定的，所以我们不能使用与端口号一样的处理方式。  
先分析源码，发现代理类型所在列都是在`'代理IP</td>'`这个字符串之后的，所以可以将代理类型的匹配正则表达式写成  
`/IP<\/td>[ |\t|\r|\n]*<td *>(.*?)<\/td>/s`

###### 2. 运行程序 ######

配置好之后就可以直接运行该代理池小工具了，直接运行 " operateProxyPool.php " 这个文件就行。

###### 3.查看抓取到的代理数据 ######

程序运行结束之后，文件夹下会生成一个“proxyPool.dat”文件，该文件就是代理池。  
当然，作为代理池肯定需要持续更新的，所以你可以根据需要改进本工具的代码，让其一直运行，不断更新“proxyPool.dat”里的数据。

还有一点是如果需要提高更新效率，可以将改成多线程模式。个人认为当前的更新效率已经足够大多数人使用了。

**附上抓取两个网站的例子：**

每个网站都是一页15个代理，我们各抓两页，结果应该会抓取到60个代理数据  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]  
**配置如下：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4]  
**抓取结果如下：**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5]  
**使用格式化工具格式化之后：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 7]  
可以看到刚好60个，说明抓取代理数据成功，没有漏掉。

#### [代码git地址，点击进入][git] ####

如本文有任何纰漏和错误，恳请各位指正！

###### —————————————————————————————— ######

最后，附上一个获取免费代理ip的API，备用：  
[https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list][https_raw.githubusercontent.com_fate0_proxylist_master_proxy.list]

[20190629100431634.png]: /images/20211220/099cb2545e3540189fceb979a28723f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: /images/20211220/aeb5eefca53e43adb5a4df71327f54f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]: /images/20211220/5f2fdeb2005f4fc09eacf332b03f02f6.png
[20190629101710999.png]: /images/20211220/d55334256b054f99bdccb297b8c54286.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190629103902707.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]: /images/20211220/f4a28f3f8ec5426599b992433c4d1964.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4]: /images/20211220/8931d55ae4374d0ca42f299f2ac17ed2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5]: /images/20211220/6e0d1ae920384fe79a29cf4dd0eddfa5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 6]: /images/20211220/3db2eedcbc9f41f2a05d28947bbf813f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zdGV2ZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 7]: /images/20211220/625b9d45d37f4907a126cad752790825.png
[git]: https://github.com/yohstone/ProxyPool
[https_raw.githubusercontent.com_fate0_proxylist_master_proxy.list]: https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list