12行代码获取CSDN博客标题、发布时间、阅读量

雨点打透心脏的1/2处 2023-07-12 09:27 9阅读 0赞

***[点此查看全部文字教程、视频教程、源代码][Link 1]***

### 本文目录 ###

*  1. 场景
 *  2. 效果
 *  3. 速度
 *  4. 代码

# 1. 场景 #

CSDN统计数据不全，我个人是想要每篇文章每天的阅读量的，然后可以绘制每篇文章访问曲线图，自己慢慢研究分析。

所以写个爬虫，没想到这么简单，12行代码就搞定了，CSDN用心良苦啊！

# 2. 效果 #

先分析下我个人博客，爬取结果如下，至于存入数据库及图形化展示，后续准备弄个小项目，同时集成下其他博客平台自动获取数据的功能。

发布时间:2020-02-20 07:36:05 ---- 阅读量:164    ---- 标题:原创 SpringBoot之路系列文章--(更新至第10篇)
    发布时间:2020-01-22 18:05:35 ---- 阅读量:441    ---- 标题:原创 Spring之路系列文章--(已完结，共50篇)
    发布时间:2019-12-30 22:41:39 ---- 阅读量:245    ---- 标题:原创 Java Web开发入门系列教程--(已完结，共34篇)
    发布时间:2019-11-11 22:38:19 ---- 阅读量:156    ---- 标题:原创 程序员数学系列--(更新至第29篇)
    发布时间:2019-10-17 21:23:17 ---- 阅读量:568    ---- 标题:原创 C语言数据结构系列--(更新至第16篇)
    发布时间:2019-10-08 20:51:01 ---- 阅读量:154    ---- 标题:原创 毛哥的快乐生活系列--(更新至第30篇)
    发布时间:2019-09-22 21:01:31 ---- 阅读量:2116   ---- 标题:原创 Python语言入门系列--(已完结，共29篇)
    发布时间:2020-03-06 15:45:44 ---- 阅读量:8      ---- 标题:原创 使用MyCat单库分表实战详解
    发布时间:2020-03-06 11:32:26 ---- 阅读量:34     ---- 标题:原创 使用MyCat分库实战详解
    发布时间:2020-03-06 10:00:39 ---- 阅读量:103    ---- 标题:原创 RabbitMQ安装过程详解

OK，试下CSDN博客排行榜第一的数据，也没问题

发布时间:2019-11-16 22:34:32 ---- 阅读量:2005   ---- 标题:原创 欢迎关注我的微信公众号"涛歌依旧"，感谢大家支持和鼓励！
    发布时间:2020-03-06 22:32:59 ---- 阅读量:23     ---- 标题:原创 异步log"丢失"之谜
    发布时间:2020-03-06 22:31:43 ---- 阅读量:267    ---- 标题:原创 log丢失之谜
    发布时间:2020-03-06 22:29:16 ---- 阅读量:15     ---- 标题:原创 如何查看tcp连接的建立时间？
    发布时间:2020-02-24 22:57:04 ---- 阅读量:300    ---- 标题:原创 笔试面试之C语言
    发布时间:2020-02-24 22:56:36 ---- 阅读量:443    ---- 标题:原创 金三银四求职季
    发布时间:2020-02-24 22:56:12 ---- 阅读量:131    ---- 标题:原创 拳不离手, 曲不离口---26个字母和48个音标的发音练习
    发布时间:2020-02-24 22:55:44 ---- 阅读量:79     ---- 标题:原创 “暗淡蓝点”三十年
    发布时间:2020-02-15 10:34:03 ---- 阅读量:408    ---- 标题:原创 配音王者荣耀游戏宣传片
    发布时间:2020-02-15 10:31:40 ---- 阅读量:163    ---- 标题:原创 配音提升工作效率的方法

# 3. 速度 #

因为我只是弄着玩，不考虑速度问题，我自己300多篇博客几秒完事了。如果需要提高速度的话，可以开个线程池。

爬取数据之前注意不要出于商业用途，也不要爬取人家的商业数据。像我就只分析下自己的博客数据，问题不大。

# 4. 代码 #

使用的Jsoup，因为这个库足够简单，后续再研究下其他的库。

先导入maven依赖

<dependency>
      
      <groupId>org.jsoup</groupId>
      <artifactId>jsoup</artifactId>
      <version>1.13.1</version>
    </dependency>

然后代码如下，非常简单，我就不详解了。老铁们使用的时候将`https://studyingpanda.blog.csdn.net`替换成你自己的博客主页地址即可。

另外有用代码确实只有12行，没有夸大哈。

package org.maoge.myspace.utils;
    
    import java.io.IOException;
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    
    /**
    * Jsonup工具类
    */
    public class JsoupUtil {
        
       public static void main(String[] args) throws IOException {
        
       	getDataFromCsdn();
       }
    
       /**
        * 获取CSDN博客访问信息
        */
       public static void getDataFromCsdn() throws IOException {
        
       	int i = 1;//页码
       	while (true) {
        
       		Document doc = Jsoup.connect("https://studyingpanda.blog.csdn.net/article/list/" + i).get(); // 通过地址加载html文档
       		Elements articleBoxs = doc.body().select(".article-item-box"); // 获取该页文章列表
       		if (articleBoxs.size() == 0) {
        // 该页没有文章时结束
       			break;
       		}
       		for (Element box : articleBoxs) {
        //遍历所有文章，并通过选择器获取相关元素信息，然后输出信息
       			System.out.println(String.format("发布时间:%s ---- 阅读量:%-6s ---- 标题:%s", box.select(".date").first().text(),
       					box.select(".num").first().text(), box.select("h4").first().text()));
       		}
       		i++;
       	}
       }
    }

[Link 1]: https://studyingpanda.blog.csdn.net/article/details/105329926