手把手和你抓取博客园(cnblog)的200页博客数据

灰太狼 2022-02-05 01:49 229阅读 0赞

> 教科书版手写多线程爬虫抓取博客园首页的200页数据, 涉及多线程, 又开始考验我的JAVA线程基础啦, 还记得当初大二写一个min爬虫框架, 一多线程就挂, 各种问题, 哈哈哈 这次也算是完成一年前的一个小目标吧…  
> 上一个智联的爬虫就暂停一下, 昨天有一个朋友说觉得爬虫有点意思, 然后想尝试抓取一下, 但是遇到了不少问题, 比较经典的就是如下问题啦  
> `"为什么你用gradle构建项目?"` >> gradle是大势所趋, 国外很多项目都是gradle构建了  
> `"为什么你知道是这个url返回数据的"` >> 嗯呐嗯呐, 再怎么说我也算是有一年多的爬虫经验的人(业务)才(爱好者)好嘛  
> `"你说url会变化, 我怎么看都是一个url, 怎么肥事?"` >> 我看看是什么流弊的网站先, 后面讲到  
> `"你抓取返回来的是JSON数据, 为什么我的带有HTML标签的?"` >> 这就说明这个网站接口不是绝对前后端分离啦  
> 其实我原本五一是玩一下自己的小项目的, 但是他叫我搞一下, 所以一大早起来就帮忙写一下了, 所以新故事就这么开始啦…

二话不说, 昨晚他就发来一个链接https://www.cnblogs.com/, 我一看到cnblog, 咦, 这不是博客园吗?我的天, 胃口还不小, 一写爬虫就搞博客园, 博客园那里得罪你了\[捂脸\]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70]

故事背景来源于一次交流…

下面考虑实现的问题啦

#### 步骤1 : 打开博客园 ####

https://www.cnblogs.com/

#### 步骤2 : 浏览器抓包 ####

详情抓包步骤请浏览器下图, 很多细节都在图说明了, 有浏览器步骤 0 1 2 3 4等  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 1]

###### 说明: ######

*  url : https://www.cnblogs.com/mvc/AggSite/PostList.aspx
    
     *  我们就可以猜到博客园的后台是使用微软的 .NET
 *  查看请求体就知道了是JSON, 然后参数是  
    \{“CategoryId”: 808, “CategoryType”: “SiteHome”, “ItemListActionName”: “PostList”, “PageIndex”: 2, “ParentCategoryId”: 0, “TotalPostCount”: 4000\}  
    所以改变PageIndex就是改变了页数了, 注意页数是1开始
    
     *  CategoryId: 808
     *  CategoryType: “SiteHome”
     *  ItemListActionName: “PostList”
     *  PageIndex: 2
     *  ParentCategoryId: 0
     *  TotalPostCount: 4000

#### 步骤3 : 网络请求获取接口数据 ####

根据上一步骤, 知道了请求的实体是JSON, 那么我们就可以知道了请求的参数了, 下面就是使用我封装的一个工具类HttpUtil,  
调用  
doPost(String url, Map<String, Object> header, int postType, Map<String, Object> body, String bodyCharset, Map<String, Object> proxy, String htmlCharset)  
具体请看源码使用

/** * 请求网页源码 */
        public String getHtml(int pageIndex){ 
            System.err.println("正在请求页数:" + pageIndex);
    
            Map<String, Object> body = new HashMap<>(8);
            String JSONStr = "{\"CategoryId\": 808, \"CategoryType\": \"SiteHome\", \"ItemListActionName\": \"PostList\", \"PageIndex\": %d, \"ParentCategoryId\": 0, \"TotalPostCount\": 4000}";
            JSONStr = String.format(JSONStr, pageIndex);
            body.put("JSON", JSONStr);
            // String url, Map<String, Object> header, int postType, Map<String, Object> body, String bodyCharset, Map<String, Object> proxy, String htmlCharset
            String html = httpUtil.doPost(BASE_URL, DEFAULT_HEADER, HttpUtil.PostType.JSON, body, "UTF-8", null, "UTF-8");
    
            System.out.println(html);
            return html;
        }

控制台输出

<div class="post_item">
    <div class="digg">
        <div class="diggit" onclick="DiggPost('edison0621',10805354,152901,1)"> 
        <span class="diggnum" id="digg_count_10805354">1</span>
        </div>
        <div class="clear"></div>
        <div id="digg_tip_10805354" class="digg_tip"></div>
    </div>      
    <div class="post_item_body">
        <h3><a class="titlelnk" href="https://www.cnblogs.com/edison0621/p/10805354.html" target="_blank">微服务探索与实践—服务注册与发现</a></h3>                 
        <p class="post_item_summary">
    <a href="https://www.cnblogs.com/edison0621/" target="_blank"><img width="48" height="48" class="pfs" src="//pic.cnblogs.com/face/533598/20130529110206.png" alt=""/></a>    前言 微服务从大规模使用到现在已经有很多年了，从之前的探索到一步步的不断完善与成熟，微服务已经成为众多架构选择中所必须面对的一个选项。服务注册与发现是相辅相成的，所以一般会合起来思索。其依托组件有很多，比如Zookeeper,Consul，Eureka等等。 本文，我们将探讨服务注册和发现的概念及其 ...
        </p>              
        <div class="post_item_foot">                    
        <a href="https://www.cnblogs.com/edison0621/" class="lightblue">艾心❤</a> 
        发布于 2019-05-03 15:44 
        <span class="article_comment"><a href="https://www.cnblogs.com/edison0621/p/10805354.html#commentform" title="2019-05-03 16:39" class="gray">
            评论(1)</a></span><span class="article_view"><a href="https://www.cnblogs.com/edison0621/p/10805354.html" class="gray">阅读(116)</a></span></div>
    </div>
    <div class="clear"></div>
    </div>
    
    省略...
    
    <div class="post_item">
    <div class="digg">
        <div class="diggit" onclick="DiggPost('pythonista',10803387,485203,1)"> 
        <span class="diggnum" id="digg_count_10803387">0</span>
        </div>
        <div class="clear"></div>
        <div id="digg_tip_10803387" class="digg_tip"></div>
    </div>      
    <div class="post_item_body">
        <h3><a class="titlelnk" href="https://www.cnblogs.com/pythonista/p/10803387.html" target="_blank">听说苏州是互联网的荒漠，真的吗？</a></h3>                 
        <p class="post_item_summary">
        我国互联网存在着巨大的地域性偏差，除了北上广深杭外，其它省市的互联网都很弱小。去年 8 月，某个公众号发布了一篇《上海不相信互联网》的文章，引起了多方的讨论。CSDN 公众号以此为契机，陆续发布了关于南京、东北、西安、甚至德国等地的互联网发展情况的文章。 作为一个“苏漂”程序员，我有幸得到了 CSD ...
        </p>              
        <div class="post_item_foot">                    
        <a href="https://www.cnblogs.com/pythonista/" class="lightblue">豌豆花下猫</a> 
        发布于 2019-05-02 21:05 
        <span class="article_comment"><a href="https://www.cnblogs.com/pythonista/p/10803387.html#commentform" title="" class="gray">
            评论(0)</a></span><span class="article_view"><a href="https://www.cnblogs.com/pythonista/p/10803387.html" class="gray">阅读(437)</a></span></div>
    </div>
    <div class="clear"></div>
    </div>

#### 步骤4 : 解析HTML数据 ####

这里使用了Jsoup模块, 解析HTML的工具有很多, 还有很多, 我比较习惯Jsoup、htmlcleaner、XPath(webmagic封装的jsoup)  
// 导入Jsonp依赖  
compile group: ‘org.jsoup’, name: ‘jsoup’, version: ‘1.11.2’

代码如下:

/** * 解析HTML */
        public Object process(int pageIndex) { 
    
            String html = getHtml(pageIndex);
            Document document = Jsoup.parse(html);
            Elements post_items = document.getElementsByClass("post_item");
            post_items.forEach( v -> { 
                Element titlelnk = v.selectFirst(".titlelnk");
                // 文章标题
                String title = titlelnk.text();
                // 详情连接
                String href = titlelnk.attr("href");
                // 文章摘要
                String summary = v.selectFirst(".post_item_summary").text();
                // 所属作者
                String lightblue = v.selectFirst(".lightblue").text();
                // 发布时间
                String time = v.selectFirst(".post_item_foot").text();
                time = easyUtil.subStringBetween(time, "发布于 ", " 评论");
                // 评论人数
                String comment = v.selectFirst(".article_comment > .gray").text();
                comment = comment.replace("评论(", "").replace(")", "");
                // 阅读人数
                String view = v.selectFirst(".article_view > .gray").text();
                view = view.replace("阅读(", "").replace(")", "");
    
                Map<String, Object> dataMap = new LinkedHashMap<>(8);
                dataMap.put("文章标题", title);
                dataMap.put("详情连接", href);
                dataMap.put("文章摘要", summary);
                dataMap.put("所属作者", lightblue);
                dataMap.put("发布时间", time);
                dataMap.put("评论人数", comment);
                dataMap.put("阅读人数", view);
    
                System.out.println(dataMap);
    
                if (iscreatetableflag == 0){ 
                    synchronized (CnblogSpider.class){ 
                        // 确保只创建一次表
                        if (iscreatetableflag == 0){ 
                            DbUtil.createTable(tableName, dataMap.keySet().toArray(new String[]{ }));
                            iscreatetableflag = 1;
                        }
                    }
                }
    
                DbUtil.insertData(tableName, dataMap);
    
            });
    
            System.out.println("解析完成页数:" + pageIndex);
            return null;
        }

控制台输出

{ 文章标题=004-python-列表、元组、字典, 详情连接=https://www.cnblogs.com/David-domain/p/10807968.html, 文章摘要=1. 什么是列表 列表是一个可变的数据类型 列表由[]来表示, 每一项元素使用逗号隔开. 列表什么都能装. 能装对象的对象. 列表可以装大量的数据 2. 列表的索引和切片 列表和字符串一样. 也有索引和切片. 只不过切出来的内容是列表 索引的下标从0开始 [起始位置:结束位置:步长] 3. 列表的增 ..., 所属作者=do康解U, 发布时间=2019-05-04 11:26, 评论人数=0, 阅读人数=7}
    
    省略...
    
    { 文章标题=物联网架构_对AWS的Greengrass的认识与理解, 详情连接=https://www.cnblogs.com/Tiancheng-Duan/p/10804804.html, 文章摘要=物联网架构_对AWS的Greengrass的认识与理解 一，前言： 这段时间有许多的收获，分析，还有总结，其中包括新系统的设计与开发，以及其中新技术的踩坑等等等。 但是最近真的很忙，项目的推进，面试工作等，尤其五月份还有考试。所以，赶紧趁着五一假期有些空暇，先发一些东西。之后，有机会再对自己的素材（ ..., 所属作者=血夜之末, 发布时间=2019-05-04 10:50, 评论人数=0, 阅读人数=26}

#### 步骤6 : 数据入库 ####

这里使用一个封装的工具类DbUtil

// 表名, 数据Map, Key 对应表字段, Value 对应一行数据
    DbUtil.insertData(tableName, dataMap);

#### 步骤7 : 多线程并发 ####

这里因为页数比较多,一共200页数, 之前也有人给我留言说, 单线程, 如何提升效率, 问我能够升级一下改为多线程.  
所以这次就写一个多线程的爬虫,我个人的话如果写多线程的爬虫应该是使用webmagic, 一个参考python的scrapy的优秀框架, 非常不错, 上手也快, 多线程只需要改一个参数就可以了, 不需要考虑线程安全问题, 自己写的话难免会有小BUG

我这里使用了多线程写法比较简单, 代码如下:

定义实现类

class MyRun implements Runnable{ 
    
        private int pageIndex;
    
        public MyRun(int pageIndex) { 
            this.pageIndex = pageIndex;
        }
    
        @Override
        public void run() { 
            CnblogSpider cnblogSpider = new CnblogSpider();
            cnblogSpider.process(pageIndex);
        }
    }

使用如下

// 阻塞队列固定大小
            BlockingQueue<Runnable> queue = new ArrayBlockingQueue<Runnable>(200);
            // 线程池
            ThreadPoolExecutor executor = new ThreadPoolExecutor(2, 20, 1, TimeUnit.HOURS, queue);
            for (int i = 1; i < 201; i++) { 
            	// 提交任务
                executor.execute(new MyRun(i));
            }
            // 关闭线程池
            executor.shutdown();

说明:我这里使用了2条核心线程数量corePoolSize, 如果需要提高线程数量, 改变corePoolSize即可, 也就是new ThreadPoolExecutor(2, …)中的2

不建议太高, 有可能会封IP的哦, 如果你有IP池的话就没问题啦, 顺便玩, 但是本着人道主义, 不建议过火啦~~~

控制台输出如下:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 2]

#### 步骤8 : 数据库展示 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 3]  
20 \* 200 = 4000  
所以看来数据没大问题, 比较顺利…

#### 步骤9 : 献上整体代码 ####

package cn.shaines.spider.module.cnblog;
    
    import cn.shaines.spider.util.DbUtil;
    import cn.shaines.spider.util.EasyUtil;
    import cn.shaines.spider.util.HttpUtil;
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    
    import java.util.HashMap;
    import java.util.LinkedHashMap;
    import java.util.Map;
    import java.util.concurrent.ArrayBlockingQueue;
    import java.util.concurrent.BlockingQueue;
    import java.util.concurrent.ThreadPoolExecutor;
    import java.util.concurrent.TimeUnit;
    
    @SuppressWarnings("Duplicates")
    public class CnblogSpider { 
    
        /** * 简单工具类 */
        EasyUtil easyUtil = EasyUtil.get();
        /** * 网络请求工具类 */
        HttpUtil httpUtil = HttpUtil.get();
    
        /** * POST请求的链接 */
        private static final String BASE_URL = "https://www.cnblogs.com/mvc/AggSite/PostList.aspx";
        /** * 请求头参数 */
        private static final Map<String, Object> DEFAULT_HEADER = new HashMap<>(8);
        /** * 定义一个标识创建一次表 */
        private static volatile int iscreatetableflag = 0;
        /** * 定义表名 */
        private String tableName = "cnblog博客数据";
    
        /** * 解析HTML */
        public Object process(int pageIndex) { 
    
            String html = getHtml(pageIndex);
            Document document = Jsoup.parse(html);
            Elements post_items = document.getElementsByClass("post_item");
            post_items.forEach( v -> { 
                Element titlelnk = v.selectFirst(".titlelnk");
                // 文章标题
                String title = titlelnk.text();
                // 详情连接
                String href = titlelnk.attr("href");
                // 文章摘要
                String summary = v.selectFirst(".post_item_summary").text();
                // 所属作者
                String lightblue = v.selectFirst(".lightblue").text();
                // 发布时间
                String time = v.selectFirst(".post_item_foot").text();
                time = easyUtil.subStringBetween(time, "发布于 ", " 评论");
                // 评论人数
                String comment = v.selectFirst(".article_comment > .gray").text();
                comment = comment.replace("评论(", "").replace(")", "");
                // 阅读人数
                String view = v.selectFirst(".article_view > .gray").text();
                view = view.replace("阅读(", "").replace(")", "");
    
                Map<String, Object> dataMap = new LinkedHashMap<>(8);
                dataMap.put("文章标题", title);
                dataMap.put("详情连接", href);
                dataMap.put("文章摘要", summary);
                dataMap.put("所属作者", lightblue);
                dataMap.put("发布时间", time);
                dataMap.put("评论人数", comment);
                dataMap.put("阅读人数", view);
    
                //System.out.println(dataMap);
    
                if (iscreatetableflag == 0){ 
                    synchronized (CnblogSpider.class){ 
                        // 确保只创建一次表
                        if (iscreatetableflag == 0){ 
                            DbUtil.createTable(tableName, dataMap.keySet().toArray(new String[]{ }));
                            iscreatetableflag = 1;
                        }
                    }
                }
    
                DbUtil.insertData(tableName, dataMap);
            });
    
            System.out.println("\t解析完成页数:" + pageIndex);
            return null;
        }
    
        /** * 请求网页源码 */
        public String getHtml(int pageIndex){ 
            System.err.println("正在请求页数:" + pageIndex);
    
            Map<String, Object> body = new HashMap<>(8);
            // 这里的JSONStr是根据抓包步骤中的请求实体得知, JSON格式为{"key1":value, "key2":value}
            String JSONStr = "{\"CategoryId\": 808, \"CategoryType\": \"SiteHome\", \"ItemListActionName\": \"PostList\", \"PageIndex\": %d, \"ParentCategoryId\": 0, \"TotalPostCount\": 4000}";
            JSONStr = String.format(JSONStr, pageIndex);
            body.put("JSON", JSONStr);
            // String url, Map<String, Object> header, int postType, Map<String, Object> body, String bodyCharset, Map<String, Object> proxy, String htmlCharset
            String html = httpUtil.doPost(BASE_URL, DEFAULT_HEADER, HttpUtil.PostType.JSON, body, "UTF-8", null, "UTF-8");
    
            //System.out.println("html = " + html);
            return html;
        }
    
        public static void main(String[] args) { 
            DEFAULT_HEADER.put("referer", "https://www.cnblogs.com/");
            DEFAULT_HEADER.put("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36");
            DEFAULT_HEADER.put("origin", "https://www.cnblogs.com");
            DEFAULT_HEADER.put("content-type", "application/json; charset=UTF-8");
    
            // 阻塞队列固定大小
            BlockingQueue<Runnable> queue = new ArrayBlockingQueue<Runnable>(200);
            // 线程池
            ThreadPoolExecutor executor = new ThreadPoolExecutor(2, 4, 1, TimeUnit.HOURS, queue);
            for (int i = 1; i < 201; i++) { 
                executor.execute(new MyRun(i));
            }
            executor.shutdown();
    
        }
    }
    
    class MyRun implements Runnable{ 
    
        private int pageIndex;
    
        public MyRun(int pageIndex) { 
            this.pageIndex = pageIndex;
        }
    
        @Override
        public void run() { 
            CnblogSpider cnblogSpider = new CnblogSpider();
            cnblogSpider.process(pageIndex);
        }
    }

### 结束语 ###

*  这里抓取了200页, 然后我尝试201页,发现返回的依旧是200页的数据, 所有有可能是后台限制了, 具体的就不探究了
 *  这里我们就可以使用这些数据啦, 比如说塞选出阅读数量和评论数据比较高的, 然后在根据标题塞选出符合自己的文章,然后就可以每天发布几篇篇优质的技术文章了呀\[奸笑\]
 *  这里还可以优化的就是写一个定时任务, 每隔几小时就去抓取一下, 然后入库, 甚至发布到自己的私服, 结合我之前的python wxpy, 每天定时微信发送自己几篇优质文章
 *  好玩的还有很多, 就看大家怎么玩啦…

我的博客:  
https://www.shaines.cn

讨论与交流:  
for.houyu@qq.com  
272694308@qq.com

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 4]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70]: /images/20220205/03ccdeee28784be38663f6aff888a8bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 1]: /images/20220205/c7c9a26fe6c9442e9c446aaead930e3e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 2]: /images/20220205/e8df0b768a3e437ca4b2f7b2ac90723f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 3]: /images/20220205/0eca6c9b60b24367bee6227213b91770.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 4]: /images/20220205/d31975dd40dd4c928364027dff7e7c1b.png