爬虫之模拟强智系统登录

ゝ一纸荒年。 2022-11-19 01:12 890阅读 0赞

## 简介 ##

趁着周末有空，最近又在做爬虫相关的功能，就研究了一下**强智教务系统**,模拟登录，在登录成功后得到学号、姓名、学院等信息。将写好的Demo也一起放在了码云。

码云地址：https://gitee.com/palewl/spder\_pz\_login

广告：  
个人博客，网页版：[palewl.cn][]

小程序端:培正Lite

使用技术：java为前提，使用HttpClient和Jsoup。  
使用工具：结合psotMan进行测试

## 分析强智系统 ##

以广东培正学院强智教务系统为例：[http://qzjw.peizheng.edu.cn/jsxsd/][http_qzjw.peizheng.edu.cn_jsxsd]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70]  
嗯，只有一个账户框和密码框，不需要去处理验证码。试着输入学号密码等，打开F12调试  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 1]  
需要找到一个叫 **LoginToXk**的请求，这个是登录的POST请求，把登录信息提交后都在这里处理请求，成功后就会重定向到后台正确的地址。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 2]  
往下翻，可以找到账户和密码的key值  
![在这里插入图片描述][20210413215308632.png]  
需要的两个值的名称都有了。  
请求地址：http://qzjw.peizheng.edu.cn/jsxsd/xk/LoginToXk  
请求方式：PSOT  
分别为：userAccount 、userPassword

还有一个不知道用途的 **encoded**

当然，我们还需要找一个后台的正确地址，因为这个仅仅是判断登录信息的POST请求，当请求成功之后后台就会重定向到强智教务系统的个人中心。

继续F12找，找到请求： xsMain\_new.jsp?t1=1，调到Response，查看响应结果。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 4]  
要的信息都在这个请求了。  
请求地址：http://qzjw.peizheng.edu.cn/jsxsd/framework/xsMain\_new.jsp?t1=1  
请求方式：GET

## 测试 ##

既然要的信息都有了，先用PostMan来测试一下，如果PostMan测试通过的话那写代码才是正确的，如果PostMan都无法成功，那就肯定不行的。

步骤：  
1.根据账户密码，去发起登录请求  
请求地址：http://qzjw.peizheng.edu.cn/jsxsd/xk/LoginToXk  
请求方式：PSOT  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 5]  
2.因为强智还使用的JSP，所以基本都是 后端Session来存储用户信息，浏览器存入用户的cookie，在下一次请求当中将Cookie放入请求头。

此处找到PostMan的heade信息：找到Set-Cookie  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 6]

3.如果登录成功的话，这一串就是后端返回的Cookie信息了。  
拿到这个信息去继续请求：  
请求地址：http://qzjw.peizheng.edu.cn/jsxsd/framework/xsMain\_new.jsp?t1=1  
请求方式：GET  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 7]  
但是结果…  
返回来的信息，我仔细的对比了一下，跟登录页面是一模一样的。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 8]

失败了。

## 分析原因 ##

基本思路是没有问题的，所以可能是漏了什么参数，或者是登录机制是采用了别的验证方式。  
继续查看重定向的参数：  
![在这里插入图片描述][20210413215308632.png]  
此处的encoded很可疑。

查看登录页面的源代码：  
![在这里插入图片描述][2021041322123228.png]  
encode是一个隐藏域。

继续它的取值：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 9]

可以看到  
encoded的值是经过加密的，加密的方法为encodeInp(obj)

推测就是此处的参数没明白，所以失败。

继续查看，发现encodeInp(obj)方法在一个js里，具体的处理加密机制在common.js

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 10]  
行叭，破解是不可以破解的，这辈子都不会破解的。

但是：  
![在这里插入图片描述][20210413222058655.png]  
这个encoded的 = ，之前貌似看过是Base64的加密方式。

找一个base64在线加密试了一下，确实是这个。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 11]  
行，一模一样。

为了测试方便，我把在浏览器的encoded复制到postman，结果证明这个尝试是正确的，这里就不演示了。

## 代码部分 ##

1.创建一个maven工程，导入坐标

<dependency>
                <groupId>org.jsoup</groupId>
                <artifactId>jsoup</artifactId>
                <version>1.10.3</version>
            </dependency>
            
            <dependency>
                <groupId>org.apache.commons</groupId>
                <artifactId>commons-lang3</artifactId>
                <version>3.7</version>
            </dependency>
            
            <dependency>
                <groupId>org.apache.httpcomponents</groupId>
                <artifactId>httpclient</artifactId>
                <version>4.5.6</version>
            </dependency>
            
            <dependency>
                <groupId>com.alibaba</groupId>
                <artifactId>fastjson</artifactId>
                <version>1.2.51</version>
            </dependency>

准备工具类用于进行Base64加密。

package com.xiaomoyu.pz.utils;
    
    import sun.misc.BASE64Decoder;
    import sun.misc.BASE64Encoder;
    
    /**
     * 基于Base64的加密和解密工具类
     */
    public class Base64EncodeUtils {
        
    
        /**
         * 示例使用
         * @param args
         * @throws Exception
         */
        public static void main(String[] args) throws Exception {
        
            String str = "学号";
            String pass = "密码";
            String username = encryptBASE64(str.getBytes());
            String password = encryptBASE64(pass.getBytes());
            System.out.println(username+"%%%"+password);
    
    
        }
    
    
    
        /**
         * BASE64解密
         * @throws Exception
         */
        public static byte[] decryptBASE64(String key) throws Exception {
        
            return (new BASE64Decoder()).decodeBuffer(key);
        }
    
        /**
         * BASE64加密
         */
        public static String encryptBASE64(byte[] key) throws Exception {
        
            return (new BASE64Encoder()).encodeBuffer(key);
        }
    
    }

**登录方法：**

package com.xiaomoyu.pz;
    
    import com.xiaomoyu.pz.utils.Base64EncodeUtils;
    import org.apache.http.NameValuePair;
    import org.apache.http.client.entity.UrlEncodedFormEntity;
    import org.apache.http.client.methods.CloseableHttpResponse;
    import org.apache.http.client.methods.HttpPost;
    import org.apache.http.client.protocol.HttpClientContext;
    import org.apache.http.cookie.Cookie;
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClients;
    import org.apache.http.message.BasicNameValuePair;
    
    import java.io.IOException;
    import java.net.URI;
    import java.util.ArrayList;
    import java.util.HashMap;
    import java.util.List;
    import java.util.Map;
    
    /**
     * 登录
     */
    public class LoginPz {
        
        public static void main(String[] args) {
        
            Map<String,String> param = new HashMap<>();
            String userAccount = "输入你的账户";
            String userPassword = "输入你的密码";
            String encoded = "";//加密信息
            try {
        
                 encoded = Base64EncodeUtils.encryptBASE64(userAccount.getBytes()) +"%%%"+Base64EncodeUtils.encryptBASE64(userPassword.getBytes());
            } catch (Exception e) {
        
                e.printStackTrace();
            }
            param.put("userAccount",userAccount);
             param.put("userPassword",userPassword);
    
            param.put("encoded",encoded);
            List<URI> redirectLocations = null;
            // 创建Httpclient对象
            CloseableHttpClient httpClient = HttpClients.createDefault();
            CloseableHttpResponse response = null;
            String resultString = "";
            try {
        
                // 创建Http Post请求
                HttpPost httpPost = new HttpPost("http://qzjw.peizheng.edu.cn/jsxsd/xk/LoginToXk");
                //请求头
                httpPost.addHeader("Content-Type","application/x-www-form-urlencoded; charset=UTF-8");
                httpPost.addHeader("Cookie","application/x-www-form-urlencoded; charset=UTF-8");
                // 创建参数列表
                if (param != null) {
        
                    List<NameValuePair> paramList = new ArrayList<>();
                    for (String key : param.keySet()) {
        
                        paramList.add(new BasicNameValuePair(key, param.get(key)));
                    }
                    // 模拟表单登录
                    UrlEncodedFormEntity entity = new UrlEncodedFormEntity(paramList);
                    httpPost.setEntity(entity);
                }
    
                // 执行http请求
                HttpClientContext context = HttpClientContext.create();
                response = httpClient.execute(httpPost,context);
    
                //获取Cookie信息,得到两个参数 JSESSIONID 、 BIGipServerpool_qzjw
                List<Cookie> cookies = context.getCookieStore().getCookies();
                for (Cookie cookie : cookies) {
        
                    String name = cookie.getName();
                    String value = cookie.getValue();
                    System.out.println("name:"+name+","+value);
                }
    
    
            } catch (Exception e) {
        
                e.printStackTrace();
            } finally {
        
                try {
        
                    response.close();
                } catch (IOException e) {
        
                    e.printStackTrace();
                }
            }
    
    
    
    
    
        }
    }

为了方便，都写在主方法当中。  
当运行这个方法时，可以得到两个参数：  
**JSESSIONID 、 BIGipServerpool\_qzjw**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 12]

有了这两个参数，就相当于有了强智服务器识别你身份的钥匙，后续需要的各种操作，如查成绩，查信息，查课表，抢课，考勤等都可以使用。

只需要再后续的操作中，加入到请求头即可。

得到 **JSESSIONID 、 BIGipServerpool\_qzjw**后的使用实例：  
注意此处需要修改JSESSIONID 、和 BIGipServerpool\_qzjw

package com.xiaomoyu.pz;
    
    import org.apache.http.client.methods.CloseableHttpResponse;
    import org.apache.http.client.methods.HttpGet;
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClients;
    import org.apache.http.util.EntityUtils;
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.select.Elements;
    
    /**
     * 登录后获取用户信息
     * 相关解析HTMl的操作不是固定的
     * 需要结合自己的需求来操作
     * 此处仅作为演示。
     */
    public class GetUserInfo {
        
    
        public static void main(String[] args) {
        
    
            CloseableHttpClient httpClient = HttpClients.createDefault();
    
            try {
        
                HttpGet httpGet = new HttpGet("http://qzjw.peizheng.edu.cn/jsxsd/framework/xsMain_new.jsp?t1=1");
                //增加头信息
                //注意此处需要修改为正确的JSESSIONID 和 BIGipServerpool_qzjw
                httpGet.addHeader("Cookie","JSESSIONID=; BIGipServerpool_qzjw=");
                httpGet.addHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36");
                httpGet.addHeader("Accept","text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9");
                httpGet.addHeader("Connection","keep-alive");
    
                //执行
                CloseableHttpResponse response = httpClient.execute(httpGet);
                String html = EntityUtils.toString(response.getEntity(), "utf8");
                System.out.println("结果："+html);
                //解析html
                Document parse = Jsoup.parse(html);
                Elements select = parse.select("div.middletopttxlr");
                Elements select1 = select.select("div.middletopdwxxcont");
                String text = select1.text();
                String[] s = text.split(" ");
                String name = s[1];//姓名
                String studentId = s[2];//学号
                String  department = s[3];//院系
                String  major = s[4];//专业
                String  stClass = s[5];//班级
    
    
                System.out.println(name+","+studentId+","+department+","+major+","+stClass);
    
            }catch (Exception e){
        
    
            }
    
        }
    }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 13]

[palewl.cn]: http://www.palewl.cn
[http_qzjw.peizheng.edu.cn_jsxsd]: http://qzjw.peizheng.edu.cn/jsxsd/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70]: /images/20221022/9b39f4f4f91f411abd4093155684bd63.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 1]: /images/20221022/9503d36940a24c50bf41f85f5fadc2ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 2]: /images/20221022/88f183a78f66434896ace2d72ff2bb70.png
[20210413215308632.png]: /images/20221022/e28d846f87434d8e96af30b6588822d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 3]: /images/20221022/6aa8d3fd32d84f66af92ea57ba6c31f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 4]: /images/20221022/04f8afaa80234f3282eda6363c97223d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 5]: /images/20221022/cb12fc4ab89f4801931866858c817954.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 6]: /images/20221022/12ae3f9ca3ca487b892a969e6ed084a9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 7]: /images/20221022/00fc7c0209714158a4881e9c23c51f76.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 8]: /images/20221022/ac03f63ab6fe4403a54bd389a768d8c3.png
[2021041322123228.png]: /images/20221022/c9204c1a8e6a45a9a581a70f00e63731.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 9]: /images/20221022/aae02f218f834ea7a616370e2aeb56a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 10]: /images/20221022/02ecbb1e4b0245839969c2bc25fcf56a.png
[20210413222058655.png]: /images/20221022/99d92b33c20646baa4d7015f744186c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 11]: /images/20221022/3d7ccfcb57ef4d8ca230d1ceecbbacf2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 12]: /images/20221022/8d14d84788fd4e7abbb106c354389cfe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxMjMyMw_size_16_color_FFFFFF_t_70 13]: /images/20221022/58ec3f4954134dafb7620e5de8f25996.png