使用Jsoup 抓取本人CSDN博客文章列表的数据-蒲公英云

代码：

package cn.test.webcap;
import java.io.IOException;
import java.security.KeyManagementException;
import java.security.NoSuchAlgorithmException;
import java.sql.SQLException;
import java.text.ParseException;
import org.jsoup.Jsoup;
import org.jsoup.Connection.Method;
import org.jsoup.Connection.Response;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
public class CSDNTest {
    static int time_out = 300000;
    public static void main(String[] args) throws SQLException,KeyManagementException, NoSuchAlgorithmException,
    InterruptedException, ParseException,IOException {
        // TODO Auto-generated method stub
        System.out.println("Start!");
        String url_main = "http://blog.csdn.net/linhaiyun_ytdx?viewmode=contents";
        Response res_main = Jsoup
                .connect(url_main)
                .method(Method.GET)                
                .header("User-Agent",
                        "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.75 Safari/537.36")
                .header("Connection",
                        "keep-alive")            
                .ignoreContentType(true)
                .timeout(time_out).execute();    
        Document doc = res_main.parse();
        Elements e = doc.select("div.list_item_new").select("div.contents >div");
    //    System.out.println("你抓取的页面数据为："+e);
        for (int i=0 ; i<e.size();i++) {
            String title = doc.select("div.article_title > h1 > span >a").get(i).text();
            String time = doc.select("div.article_manage > span.link_postdate").get(i).text();
            String view = doc.select("div.article_manage > span.link_view").get(i).text();
            String comments = doc.select("div.article_manage > span.link_comments").get(i).text();
            System.out.println(title + "----"+time+"----"+view+"----"+comments);
        }
        System.out.println("本页总共"+e.size()+"条数据");
        System.out.println("End!");
    }
}

截图：

Center

获取的数据：

Start!
[置顶] 一位资深程序员大牛给予Java学习者的学习路线建议——2017-02-17 00:27——阅读(163)——评论(0)
使用Jsoup 简单抓取页面的数据——2017-07-20 19:55——阅读(12)——评论(0)
JFreeChart 制作柱状图分析数据——2017-07-14 09:35——阅读(50)——评论(0)
JFreeChart 制作3D饼状图分析数据——2017-07-14 09:35——阅读(60)——评论(0)
JFreeChart 制作折线图分析数据——2017-07-13 22:10——阅读(41)——评论(0)
防机器登录验证码的实现与输入匹配验证——2017-07-09 19:30——阅读(49)——评论(0)
通知类短信接口的实现——2017-07-09 19:30——阅读(46)——评论(0)
Servlet +JSP+Javabean 实现用户登录注册——2017-07-01 11:11——阅读(61)——评论(0)
数字签名算法的具体使用测试——2017-07-01 10:55——阅读(37)——评论(0)
短信验证码接口的实现——2017-07-01 10:44——阅读(44)——评论(0)
数字签名算法的实现——2017-06-16 16:59——阅读(90)——评论(0)
Oracle 课程设计源码——2017-06-15 21:51——阅读(56)——评论(0)
C3P0数据库连接池SQL语句的简单总结——2017-06-08 21:08——阅读(131)——评论(0)
Oracle用户权限与安全——2017-06-08 21:08——阅读(107)——评论(0)
MongoDB 的基本使用——2017-05-29 22:39——阅读(154)——评论(0)
软件设计的目标——2017-05-29 16:34——阅读(104)——评论(0)
经典软件体系结构风格(五)——2017-05-29 16:33——阅读(212)——评论(0)
博客系统开发推送第六季——留言板模块——2017-05-27 14:46——阅读(193)——评论(1)
博客系统开发推送第五季——个人相册模块——2017-05-26 17:31——阅读(176)——评论(0)
JSP使用URL编码传递中文参数问题的解决——2017-05-23 22:39——阅读(109)——评论(0)
博客系统开发推送第四季——网站框架的搭建及博客模块功能的完善——2017-05-20 15:00——阅读(328)——评论(0)
博客系统开发推送第三季——文章的归档分类——2017-05-17 17:04——阅读(108)——评论(0)
博客系统开发推送第二季——数据库设计——2017-05-17 17:02——阅读(87)——评论(0)
DBCP数据连接池——2017-05-12 09:51——阅读(79)——评论(0)
常见三种数据库连接池在WEB程序的应用总结——2017-05-12 09:41——阅读(119)——评论(0)
经典软件体系结构风格（四）——2017-05-09 21:58——阅读(108)——评论(0)
经典软件体系结构风格（三）——2017-05-09 21:27——阅读(180)——评论(0)
父子实例的内存控制—继承成员变量和继承方法的区别——2017-05-09 20:24——阅读(83)——评论(0)
父类构造器的隐式调用和显式调用——2017-05-09 20:23——阅读(91)——评论(0)
博客系统开发推送第一季——编写发表博客，并生成阅读摘要——2017-05-09 10:36——阅读(143)——评论(0)
高仿CSDN编写文章，发表文章的工具——2017-05-05 22:58——阅读(283)——评论(0)
Bootstrap 前端框架制作响应式网站——2017-05-03 22:39——阅读(541)——评论(0)
Linux 系统常用命令——2017-05-02 17:56——阅读(256)——评论(0)
Linux 网络基础配置——2017-05-02 17:56——阅读(198)——评论(0)
Oracle 创建/调用函数小示例——2017-05-02 17:56——阅读(325)——评论(0)
Oracle 存储过程的默认值参数和过程中的事务处理——2017-05-02 17:55——阅读(117)——评论(0)
Oracle 使用IN OUT参数创建/调用存储过程——2017-05-02 17:55——阅读(86)——评论(0)
Oracle 使用OUT参数创建/调用存储过程——2017-05-02 17:55——阅读(336)——评论(0)
Oracle 使用IN参数创建/调用存储过程——2017-05-02 17:54——阅读(233)——评论(0)
CentOS 7.0 进入单用户模式修改Root密码——2017-05-01 18:32——阅读(200)——评论(0)
Linux 系统启动详解——2017-05-01 18:31——阅读(220)——评论(0)
Linux 命令行文本处理工具——2017-05-01 18:31——阅读(189)——评论(0)
Linux 多命令协作：管道及重定向——2017-05-01 18:31——阅读(1107)——评论(0)
YUM 软件管理——2017-04-30 15:44——阅读(207)——评论(0)
RPM 软件包管理——2017-04-30 15:44——阅读(212)——评论(0)
Linux 扩展权限——2017-04-30 15:44——阅读(215)——评论(0)
Linux 权限机制——2017-04-29 10:31——阅读(233)——评论(0)
Linux 用户基础——2017-04-29 10:31——阅读(204)——评论(0)
Linux 系统挂载管理——2017-04-26 18:30——阅读(81)——评论(0)
Linux 文件系统管理——2017-04-26 18:30——阅读(88)——评论(0)
使用fdisk分区进行磁盘管理——2017-04-25 22:16——阅读(94)——评论(0)
本页总共51条数据
End!