博客搬家系列（三）-爬取博客园博客

╰半夏微凉° 2022-04-22 01:32 535阅读 0赞

博客搬家系列（三）-爬取博客园博客

一.前情回顾

博客搬家系列（一）-简介：https://blog.csdn.net/rico_zhou/article/details/83619152

博客搬家系列（二）-爬取CSDN博客：https://blog.csdn.net/rico_zhou/article/details/83619509

博客搬家系列（四）-爬取简书文章：https://blog.csdn.net/rico_zhou/article/details/83619538

博客搬家系列（五）-爬取开源中国博客：https://blog.csdn.net/rico_zhou/article/details/83619561

博客搬家系列（六）-爬取今日头条文章：https://blog.csdn.net/rico_zhou/article/details/83619564

博客搬家系列（七）-本地WORD文档转HTML：https://blog.csdn.net/rico_zhou/article/details/83619573

博客搬家系列（八）-总结：https://blog.csdn.net/rico_zhou/article/details/83619599

二.开干（获取文章URL集合）

爬取博客园的博客思路跟CSDN一样，且下载图片那一步更为简单，任何header都不需要设置，同样，我们以ricozhou的主页为例分析源码https://www.cnblogs.com/ricozhou/

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70

我们可以看到文章列表如下，依然是很简洁的url，我们找一个博主文章较多的看看，方便分析规律，如https://www.cnblogs.com/xdp-gacl/

当我们点击下一页的时候，url如下

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 1

显然最后的2是页数，这样我们就找到了页面url规律，同样右击查看源码，分析找到文章都位于哪个标签内

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 2

观察发现，文章url均位于class为postTitle的标签内，代码如下：

  1. /**
  2.      * @date Oct 17, 2018 12:30:46 PM
  3.      * @Desc
  4.      * @param blogMove
  5.      * @param oneUrl
  6.      * @return
  7.      * @throws IOException
  8.      * @throws MalformedURLException
  9.      * @throws FailingHttpStatusCodeException
  10.      */
  11.     public void getCnBlogArticleUrlList(Blogmove blogMove, String oneUrl, List<String> urlList)
  12.             throws FailingHttpStatusCodeException, MalformedURLException, IOException {
  13.         // 模拟浏览器操作
  14.         // 创建WebClient
  15.         WebClient webClient = new WebClient(BrowserVersion.CHROME);
  16.         // 关闭css代码功能
  17.         webClient.getOptions().setThrowExceptionOnScriptError(false);
  18.         webClient.getOptions().setCssEnabled(false);
  19.         // 如若有可能找不到文件js则加上这句代码
  20.         webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
  21.         // 获取第一级网页html
  22.         HtmlPage page = webClient.getPage(oneUrl);
  23.         // System.out.println(page.asXml());
  24.         Document doc = Jsoup.parse(page.asXml());
  25.         Elements pageMsg = doc.select("div.postTitle");
  26.         Element linkNode;
  27.         for (Element e : pageMsg) {
  28.             linkNode = e.select("a.postTitle2").first();
  29.             if (linkNode == null) {
  30.                 continue;
  31.             }
  32.             if (urlList.size() < blogMove.getMoveNum()) {
  33.                 urlList.add(linkNode.attr("href"));
  34.             } else {
  35.                 break;
  36.             }
  37.         }
  38.         return;
  39.     }

获取url集合如下

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 3

三.开干（获取文章具体信息）

同样，我们还是打开一篇博文，以使用爬虫框架htmlunit整合springboot出现的一个不兼容问题 为例，使用Chrome打开，我们可以看到一些基本信息，如文章的类型为原创，标题，时间，作者，阅读数，文章文字信息，图片信息等

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 4

2018110115560986.png

同样，右击查看源码找到对应的元素，然后获取内容

20181101155829105.png

2018110115583396.png

部分代码

  1. /**
  2.      * @date Oct 17, 2018 12:46:52 PM
  3.      * @Desc 获取详细信息
  4.      * @param blogMove
  5.      * @param url
  6.      * @return
  7.      * @throws IOException
  8.      * @throws MalformedURLException
  9.      * @throws FailingHttpStatusCodeException
  10.      */
  11.     public Blogcontent getCnBlogArticleMsg(Blogmove blogMove, String url, List<Blogcontent> bList)
  12.             throws FailingHttpStatusCodeException, MalformedURLException, IOException {
  13.         Blogcontent blogcontent = new Blogcontent();
  14.         blogcontent.setArticleSource(blogMove.getMoveWebsiteId());
  15.         // 模拟浏览器操作
  16.         // 创建WebClient
  17.         WebClient webClient = new WebClient(BrowserVersion.CHROME);
  18.         // 关闭css代码功能
  19.         webClient.getOptions().setThrowExceptionOnScriptError(false);
  20.         webClient.getOptions().setCssEnabled(false);
  21.         // 如若有可能找不到文件js则加上这句代码
  22.         webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
  23.         // 获取第一级网页html
  24.         HtmlPage page = webClient.getPage(url);
  26.         Document doc = Jsoup.parse(page.asXml());
  27.         // 获取标题
  28.         String title = BlogMoveCnBlogUtils.getCnBlogArticleTitle(doc);
  29.         // 是否重复去掉
  30.         if (blogMove.getMoveRemoveRepeat() == 0) {
  31.             // 判断是否重复
  32.             if (BlogMoveCommonUtils.articleRepeat(bList, title)) {
  33.                 return null;
  34.             }
  35.         }
  36.         blogcontent.setTitle(title);
  37.         // 获取作者
  38.         blogcontent.setAuthor(BlogMoveCnBlogUtils.getCnBlogArticleAuthor(doc));
  39.         // 获取时间
  40.         if (blogMove.getMoveUseOriginalTime() == 0) {
  41.             blogcontent.setGtmCreate(BlogMoveCnBlogUtils.getCnBlogArticleTime(doc));
  42.         } else {
  43.             blogcontent.setGtmCreate(new Date());
  44.         }
  45.         blogcontent.setGtmModified(new Date());
  46.         // 获取类型
  47.         blogcontent.setType(BlogMoveCnBlogUtils.getCnBlogArticleType(doc));
  48.         // 获取正文
  49.         blogcontent.setContent(BlogMoveCnBlogUtils.getCnBlogArticleContent(doc, blogMove, blogcontent));
  51.         // 设置其他
  52.         blogcontent.setStatus(blogMove.getMoveBlogStatus());
  53.         blogcontent.setBlogColumnName(blogMove.getMoveColumn());
  54.         // 特殊处理
  55.         blogcontent.setArticleEditor(blogMove.getMoveArticleEditor());
  56.         blogcontent.setShowId(DateUtils.format(new Date(), DateUtils.YYYYMMDDHHMMSSSSS));
  57.         blogcontent.setAllowComment(0);
  58.         blogcontent.setAllowPing(0);
  59.         blogcontent.setAllowDownload(0);
  60.         blogcontent.setShowIntroduction(1);
  61.         blogcontent.setIntroduction("");
  62.         blogcontent.setPrivateArticle(1);
  64.         return blogcontent;
  65.     }

详细信息

  1. /**
  2.      * @date Oct 17, 2018 1:10:19 PM
  3.      * @Desc 获取标题
  4.      * @param doc
  5.      * @return
  6.      */
  7.     public static String getCnBlogArticleTitle(Document doc) {
  8.         // 标题
  9.         Element pageMsg2 = doc.select("div#post_detail").first().select("h1.postTitle").first().select("a").first();
  10.         return pageMsg2.ownText();
  11.     }
  13.     /**
  14.      * @date Oct 17, 2018 1:10:28 PM
  15.      * @Desc 获取作者
  16.      * @param doc
  17.      * @return
  18.      */
  19.     public static String getCnBlogArticleAuthor(Document doc) {
  20.         Element pageMsg2 = doc.select("div.postDesc").first().select("a").first();
  21.         return pageMsg2.ownText();
  22.     }
  24.     /**
  25.      * @date Oct 17, 2018 1:10:33 PM
  26.      * @Desc 获取时间
  27.      * @param doc
  28.      * @return
  29.      */
  30.     public static Date getCnBlogArticleTime(Document doc) {
  31.         Element pageMsg2 = doc.select("div.postDesc").first().select("span#post-date").first();
  32.         String date = pageMsg2.ownText().trim();
  33.         // 这地方时间格式变化太多暂时不实现
  34.         Date d = DateUtils.formatStringDate(date, DateUtils.YYYY_MM_DD_HH_MM_SS4);
  35.         // 注意有些格式不正确
  36.         return d == null ? new Date() : d;
  37.     }
  39.     /**
  40.      * @date Oct 17, 2018 1:10:37 PM
  41.      * @Desc 获取类型
  42.      * @param doc
  43.      * @return
  44.      */
  45.     public static String getCnBlogArticleType(Document doc) {
  46.         // Element pageMsg2 =
  47.         // doc.select("div.article-detail").first().select("h1.header").first().select("div.horizontal")
  48.         // .first();
  49.         // if ("原".equals(pageMsg2.html())) {
  50.         // return "原创";
  51.         // } else if ("转".equals(pageMsg2.html())) {
  52.         // return "转载";
  53.         // } else if ("译".equals(pageMsg2.html())) {
  54.         // return "翻译";
  55.         // }
  56.         return "原创";
  57.     }
  59. /**
  60.      * @date Oct 17, 2018 1:10:41 PM
  61.      * @Desc 获取正文
  62.      * @param doc
  63.      * @param object
  64.      * @param blogcontent
  65.      * @return
  66.      */
  67.     public static String getCnBlogArticleContent(Document doc, Blogmove blogMove, Blogcontent blogcontent) {
  68.         Element pageMsg2 = doc.select("div#post_detail").first().select("div#cnblogs_post_body").first();
  69.         String content = pageMsg2.toString();
  70.         String images;
  71.         // 注意是否需要替换图片
  72.         if (blogMove.getMoveSaveImg() == 0) {
  73.             // 保存图片到本地
  74.             // 先获取所有图片连接，再按照每个链接下载图片，最后替换原有链接
  75.             // 先创建一个文件夹
  76.             // 先创建一个临时文件夹
  77.             String blogFileName = String.valueOf(UUID.randomUUID());
  78.             FileUtils.createFolder(FilePathConfig.getUploadBlogPath() + File.separator + blogFileName);
  79.             blogcontent.setBlogFileName(blogFileName);
  80.             // 匹配出所有链接
  81.             List<String> imgList = BlogMoveCommonUtils.getArticleImgList(content);
  82.             // 下载并返回重新生成的imgurllist
  83.             List<String> newImgList = BlogMoveCommonUtils.getArticleNewImgList(blogMove, imgList, blogFileName);
  84.             // 拼接文章所有链接
  85.             images = BlogMoveCommonUtils.getArticleImages(newImgList);
  86.             blogcontent.setImages(images);
  87.             // 替换所有链接按顺序
  88.             content = getCnBlogNewArticleContent(content, imgList, newImgList);
  90.         }
  92.         return content;
  93.     }

代码共用，不再多放。还是一样的步骤，获取正文源码html匹配img，下载img，替换img链接，返回替换后的HTML

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 5

本人网站效果图：

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 6

欢迎交流学习！

完整源码请见github：https://github.com/ricozhou/blogmove​​​​​​​

发表评论

表情：
评论列表 （有 0 条评论，535人围观）

还没有评论，来说两句吧...

相关阅读

    相关 博客搬家

    博客搬家 因为linux相关的一些内容始终审核不过，而Linux和ros安装必须使用。所以造成了分享给朋友的不方便。所以搬家去了博客园。 地址 https://w

    偏执的太偏执、偏执的太偏执、/ 0 赞/ 438 阅读