爬虫之爬取易班推文信息

偏执的太偏执、 2023-01-13 09:58 84阅读 0赞

## 简介 ##

趁着周末有空，最近又在做爬虫相关的功能，想将易班的推文信息放到自己的小程序里，奈何网上没有找到合适的文章，于是就自己研究了一下**易班推文的爬取**,使用Springboot设置定时任务去爬取，在爬取信息成功之后打印爬虫的信息。

**该教程仅用于学习用途，如有侵犯您的权益，请联系我删除。**

效果图：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 2]

**广告：**  
广告：  
个人博客，网页版：[palewl.cn][]

小程序端: **培正Lite**

源码：[码云直达][Link 1]

使用技术：java为前提，使用HttpClient和Jsoup。  
使用工具：结合psotMan进行测试

如果你对爬虫登录有兴趣，可以看我上一篇模拟登录的案例：  
[爬虫之模拟强智系统登录][Link 2]

## 分析 ##

首先找到需要爬取的页面地址：

[http://www.yiban.cn/school/index/puserid/13712362][http_www.yiban.cn_school_index_puserid_13712362]  
这里以**广东培正学院**的易班首页为例，爬取文章信息

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 3]

随便打开一篇文章，如打开：**植树节，为地球绘上一点绿色**这篇文章，打开f12调试，找到如图所示的请求

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 5]

请求地址：http://www.yiban.cn/forum/article/show/article\_id/155610598/channel\_id/301700/puid/1371236

**链接参数分析：**

三个参数都有特定的意义，这里先记录一下。

article_id:155610598 //文章的id
        channel_id:301700 //频道的id
        puid:1371236 //作者的id

**这个地址是点击文章后访问的地址，但是打开response发现文章的内容并不在这里。**

其实也很容易想到，一般这种情况就可以认为该页面是通过异步的方式来请求数据的。

继续查找：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 6]

发现连接：  
http://www.yiban.cn/forum/article/showAjax  
提交方式：POST  
表单内容：

![在这里插入图片描述][20210417220254193.png]

试着去postMan尝试一下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 7]

**结果是正确的。**

**因此这里爬取推文的关键就是得到这三个参数，然后通过这三个参数发起异步请求，从而得到数据。**

article_id:155610598 //文章的id
        channel_id:301700 //频道的id
        puid:1371236 //作者的id

## 还有个小问题 ##

再次请求这个页面：[http://www.yiban.cn/school/index/puserid/13712362][http_www.yiban.cn_school_index_puserid_13712362]

这里的放假通知的地址：  
**http://www.yiban.cn/forum/schoolAd/articleShow/id/3244805**

</a>

![在这里插入图片描述][20210417220827450.png]

跟植树这个地址：  
**http://www.yiban.cn/forum/article/show/article\_id/155610598/channel\_id/301700/puid/13712362**

![在这里插入图片描述][2021041722092061.png]

**链接格式完全不一样，第一个只有简单的id/3244805结尾，但是第二个地址却包含了需要发起异步请求的所有参数。**

但是当点击的时候却发现地址：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 8]

显然发生了重定向，重定向后的地址才是我们需要的。

## 思路实现 ##

1.搞清楚两个地址，一个是需要爬取的地址：  
[添加链接描述][http_www.yiban.cn_school_index_puserid_13712362]  
通过这个地址需要获得发起异步请求的三个参数。

另一个是需要发起异步请求的地址：  
请求地址: [http://www.yiban.cn/forum/article/showAjax][http_www.yiban.cn_forum_article_showAjax]  
请求方式: POST

2.根据发起的异步请求，需要准备几个实体对象用于接收异步请求返回的结果。

![在这里插入图片描述][20210417221533895.png]

3.准备工具类，使用池的方式管理HttpClient

![在这里插入图片描述][20210417221630730.png]

4.使用SpringBoot的定时任务，定时爬取数据，将爬取到的结果打印到控制台。  
如你有存入到数据库的需求，这个也是一样的。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 9]

## 代码实现 ##

**相关的代码已经放到码云，你也可以clone下来查看**

**创建一个maven工程，导入依赖。**

<parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.4.RELEASE</version>
    </parent>
    <dependencies>
    	
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.51</version>
        </dependency>
        
        
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
        </dependency>
        
        
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.10.3</version>
        </dependency>
        
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
        </dependency>
    
    
    </dependencies>

**准备实体对象用于接收结果**

Arti

/**
     * 临时存储第一部分爬虫的基础信息，非数据库实体表
     */
    public class Arti implements Serializable {
        private String title; //标题
        private String src; //推文图片地址
        private String href; //推文访问地址
        private String article_id;//文章id
        //get set ...
        }

/**
     * 文章实体,重要的实体部分，如有需要可以作为数据库部分
     */
    public class Article implements Serializable {
    
        private String id;
        private String Channel_id;
        private String User_id;//作者id
        private String title;
        private String firstPicture;//首图地址
        private String isNotice;
        private String isLocked;
        private String isWeb;
        private String replyCount; //回复数
        private String replyTime;//回复时间
        private String createTime;
        private String updateTime;
        private String clicks;//点击数
        private String upCount;
        private String status;
        private String Sections_id;
        private String UserGroup_id;
        private String oldArtId;
        private String oldAreaId;
        private String content; //推文内容
        //get set ...
        }

/**
     * 作者实体对象,重要的实体部分，如有需要可以作为数据库部分
     */
    public class Author implements Serializable {
    
        private String id;
        private String isPublic;
        private String isOrganization;
        private String isDeveloper;
        private String isSchoolVerify;
        private String regTime;
        private String kind;
        private String nick;//作者昵称
        private String name;//作者姓名
        private String sex;
        private String birth;
        private String source;
        private String major;
        private String img;
        private String userName;
        private String area;
        private String addr;
        private String authority;
        private String group_id;
        private String qr_add;
        private String qr_index;
        private String token;
        private String homeUrl;
        private String iosHomeUrl;
        private String androidHomeUrl;
        private String authorname;
        private String avatar;//头像地址
        //get set ...
        }

/**
     * 异步返回的返回的Data数据
     */
    public class Data  implements Serializable {
    
        private String id;
    
        private String baseUri;
        private String jsBaseUrl;
        private String cssBaseUrl;
        private String imgBaseUrl;
        private String channel_id;
        private String puid;
        private String isManager;
        private String jsVersion;
        private String cssVersion;
        private String isOrganization;
        private String SectionFlag;
        private Boolean editPermission;
        private Boolean delPermission;
        private String  hotScore;
        private String  Sections_name;
    
        //外键
        private String articleId;
        //非数据库字段
    
        private Article article;
    
       //非数据库字段
        private UrlParams urlParams;
        //get set ...
        }

/**
     * 异步请求返回的结果集
     */
    public class Result  implements Serializable {
    
        private String id;
        private String code; //返回的状态码
        private String message;//提示消息
        private Data data;
        //get set ...
        }

/**
     * 文章的id信息
     */
    
    public class UrlParams implements Serializable {
    
    
        private String id; //id
        private String channel_id;//频道id
        private String puid;//作者id
        //get set ...
        }

**准备工具类：**

import org.apache.http.client.config.RequestConfig;
    import org.apache.http.client.methods.CloseableHttpResponse;
    import org.apache.http.client.methods.HttpGet;
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClients;
    import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
    import org.apache.http.util.EntityUtils;
    import org.springframework.stereotype.Component;
    
    /**
     * HttpClient的工具类，使用连接池的方式管理
     */
    @Component
    public class ClientUtils {
        private PoolingHttpClientConnectionManager cm;
    
        public ClientUtils() {
            this.cm = new PoolingHttpClientConnectionManager();
    
            //    设置最大连接数
            cm.setMaxTotal(200);
    
            //    设置每个主机的并发数
            cm.setDefaultMaxPerRoute(20);
        }
    
        //获取内容
        public String getHtml(String url) {
            // 获取HttpClient对象
            CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
    
            // 声明httpGet请求对象
            HttpGet httpGet = new HttpGet(url);
            // 设置请求参数RequestConfig
            httpGet.setConfig(this.getConfig());
            //httpGet.addHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36");
            CloseableHttpResponse response = null;
            try {
                // 使用HttpClient发起请求，返回response
                response = httpClient.execute(httpGet);
                // 解析response返回数据
                if (response.getStatusLine().getStatusCode() == 200) {
                    String html = "";
    
                    // 如果response。getEntity获取的结果是空，在执行EntityUtils.toString会报错
                    // 需要对Entity进行非空的判断
                    if (response.getEntity() != null) {
                        html = EntityUtils.toString(response.getEntity(), "UTF-8");
                    }
    
                    return html;
                }
    
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                try {
                    if (response != null) {
                        // 关闭连接
                        response.close();
                    }
                    // 不能关闭，现在使用的是连接管理器
                    // httpClient.close();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
    
            return null;
        }
    
    
        //获取请求参数对象
        private RequestConfig getConfig() {
            RequestConfig config = RequestConfig.custom().setConnectTimeout(2000)// 设置创建连接的超时时间
                    .setConnectionRequestTimeout(500) // 设置获取连接的超时时间
                    .setSocketTimeout(10000) // 设置连接的超时时间
                    .build();
    
            return config;
        }
    }

**设置定时任务：**

/**
     * 设置定时任务去爬取易班的内容
     */
    @Component
    @Configuration
    @EnableScheduling
    public class TaskArticle {
        //工具类
        @Autowired
        private ClientUtils clientUtils;
    
    
        /**
         * 设置定时任务去爬虫
         * 第一次执行前延时5秒启动
         *  24*60*60*1000  每隔半天天去爬取数据
         */
    
        @Scheduled(initialDelay = 1000, fixedDelay = 12*60*60*1000)
        public void taskArticle0(){
            System.out.println("执行了定时任务.");
            String uri = "http://www.yiban.cn/school/index/puserid/13712362";
            //开始爬虫0,爬取首页数据
           getMap(clientUtils, uri);
        }
    
    
    
        /**
         * 根据地址去获取http://www.yiban.cn/school/index/puserid/13712362
         * 的文章，得到初步的信息
         * System.out.println(src);//图片资源
         * System.out.println(href);//a标签地址
         * System.out.println(title);//标题
         * System.out.println(article_id);//文章id
         * @param clientUtils
         * @param uri
         * @return
         */
        private  void getMap(ClientUtils clientUtils, String uri){
    
            //得到响应内容
            String html = clientUtils.getHtml(uri);
            //使用jsoup解析
            Document parse = Jsoup.parse(html);
            //解析div.section-body > ul > li路径下的内容
            Elements clearfix = parse.select("div.section-body > ul > li");
            //循环遍历
            for (Element element : clearfix) {
                //获取a标签下的内容
                Elements a = element.select("a");
                //获取图片
                String src = a.select("img").attr("src");
                //获取a标签下的跳转href
                String href = a.attr("href");
                //获取文章尾数编号
                String article_id = "";
                try {
                    article_id = href.substring(href.indexOf("article_id/")+11,href.indexOf("/channel_id"));
                } catch (Exception e) {
                //    System.out.println("防止报错");
                }
                //获取标题
                String title = a.select("span").select("b").text();
    
                //封装结果
                Arti arti = new Arti();
                arti.setTitle(title);
                arti.setHref(href);
                arti.setArticle_id(article_id);
                arti.setSrc(src);
                //将结果加入集合
    
                //调用方法继续执行
                getElement(arti);
    
            }
    
        }
    
        /**
         * 根据爬取的内容来去进一步的加载
         */
        private  String getElement(Arti arti){
           // System.out.println("arti:"+arti);
            if(arti != null){
                //如果文章id不为空，则说明无需重定向处理，否则就需要重定向处理
                if (arti.getArticle_id() != null && !"".equals(arti.getArticle_id())){
                    //调用方法继续执行
                    redict(arti);
                }else{
                    //调用方法继续执行，获取重定向后得到的链接
                 //   System.out.println("执行了重定向方法");
                    redirect(arti);
                }
    
    
            }
            return "";
        }
    
        /**
         * 需要进一步重定向处理地址
         * 获取重定向后得到的链接，然后继续调用处理
         * @param arti
         */
        private  void redirect(Arti arti) {
            //创建连接对象
            CloseableHttpClient httpClient = HttpClients.createDefault();
            List<URI> redirectLocations = null; //返回的重定向的地址集合
            CloseableHttpResponse response = null;
            try {
                HttpClientContext context = HttpClientContext.create();
                HttpGet httpGet = new HttpGet(arti.getHref()); //使用href去获取重定向地址
                httpGet.addHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36");
                response = httpClient.execute(httpGet, context);
                // 获取所有的重定向位置
                redirectLocations = context.getRedirectLocations();
              //  System.out.println("redirectLocations:"+redirectLocations);
               // System.out.println("getHref():"+arti.getHref());
                String uri = redirectLocations.get(0).toString();//返回的重定向地址
                String article_id = uri.substring(uri.lastIndexOf("/") + 1);//截取正确的文章id
             //   System.out.println("重定向后的文章id"+article_id);
    
                //重新封装结果集
                arti.setArticle_id(article_id);
                arti.setHref(uri);
                //调用方法继续执行
                System.out.println(arti);
                redict(arti);
            } catch (IOException e) {
            //    System.out.println("redirect方法报错");
            }
    
        }
    
        /**
         * 无需重定向直接处理爬虫，获取响应id文章的内容
         * @param arti
         */
        private  void redict(Arti arti) {
         //   System.out.println("非重定向："+arti);
            //封装结果
            Map<String,String> map = new HashMap<>();
            map.put("channel_id", "301700");
            map.put("puid", "13712362");
            map.put("article_id", arti.getArticle_id());
            //发起HTTP请求
            String s = HttpClientUtil.doPost("http://www.yiban.cn/forum/article/showAjax",map);
    
            //将结果转换为JavaBean
            JSONObject jsonObject = JSONObject.parseObject(s);
            Result result = JSON.toJavaObject(jsonObject, Result.class);
    
    
    
            //将结果存入数据库 Data
            Data data = result.getData();
    
    
            Article article = null;
            Author author = null;
            UrlParams urlParams = null;
            String articleId = "";
    
            try {
                //文章
                article = data.getArticle();
                articleId = article.getId();
                article.setId(arti.getArticle_id());
    
                //修改时间格式
                try {
                    if(article.getCreateTime().startsWith("2020") ||
                            article.getCreateTime().startsWith("2019")||
                            article.getCreateTime().startsWith("2018")||
                            article.getCreateTime().startsWith("2017")||
                            article.getCreateTime().startsWith("2016")||
                            article.getCreateTime().startsWith("2015")||
                            article.getCreateTime().startsWith("2021")){
                      //如果是以 以上前缀执行的，则不进行处理
                    }else{
                        //否则需要处理时间
                        //获取当前的年份
                        Date date = new Date();
                        SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy");
                        String year = simpleDateFormat.format(date);
                        String createTime = article.getCreateTime();
                        //赋值时间
                        article.setCreateTime(year+"-"+createTime);
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
                //作者信息
                author = article.getAuthor();
    
                //url信息
                urlParams = data.getUrlParams();
    
    
                /**
                 * 打印结果
                 */
                System.out.println("urlParams:"+urlParams);
                System.out.println("作者信息："+author);
                System.out.println("文章信息："+article);
    
            } catch (Exception e) {
                System.out.println("错误，跳过。");
            }
    
    
        }

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70]: /images/20221022/1613f4095d524a56be7770fb2ac89f2e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 1]: /images/20221022/61399e5ba4b04bd1bfda12c002b6612c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 2]: /images/20221022/c8bc1eae144f4814809e180344ac55d3.png
[palewl.cn]: http://www.palewl.cn
[Link 1]: https://gitee.com/palewl/spider_yb
[Link 2]: https://blog.csdn.net/wq2323/article/details/115679539
[http_www.yiban.cn_school_index_puserid_13712362]: http://www.yiban.cn/school/index/puserid/13712362
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 3]: /images/20221022/22833bd1906e4107b461bf2d45789945.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 4]: /images/20221022/0f05eac872d744c38a5c715972b99605.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 5]: /images/20221022/bd9d03ea4eb7403ca9d5cfac7d1edac4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 6]: /images/20221022/898ed64b152543b3b016c3df5dd50a1d.png
[20210417220254193.png]: /images/20221022/4c270895241147dcae29793c93f51a58.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 7]: /images/20221022/fd2729427e2d4756a301c4f4564cc583.png
[20210417220827450.png]: /images/20221022/93d2b8094743486db13c575121f5619e.png
[2021041722092061.png]: /images/20221022/32f57f47d809483aad8d7f85d7303582.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 8]: /images/20221022/addfcdefbf1e430ab1e111c99e5492c6.png
[http_www.yiban.cn_forum_article_showAjax]: http://www.yiban.cn/forum/article/showAjax
[20210417221533895.png]: /images/20221022/754550d22b0342f7840b159b128ffb7b.png
[20210417221630730.png]: /images/20221022/0c9dd5157b5747709d6792d49b072a12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 9]: /images/20221022/eb014e9d97cd4e1f84fbe25c26493b13.png