【2019.05.23】JS逆向——破解裁判文书网参数（vl5x，guid ）爬虫超级详细

亦凉 2022-01-28 08:57 493阅读 0赞

# 裁判文书网 #

## **免责声明** ##

> 引言  
> 本文仅用于个人学习与技术交流，  
> 如果有人用于其它其它用途与我一点点关系都没有~  
> 如果有啥地方不恰当地方可以联系我删除，  
> 不要举报或者有其他的操作  
> 总之  
> 好好学习  
> 社会主义核心价值观保护共产主义接班人

[中国裁判文书网][Link 1]

> [http://wenshu.court.gov.cn/][Link 1]

# 一、分析请求参数 #

## 1.找到请求 ##

一点搜索的小技巧，我们很容易就找到了我们需要的请求

*  小技巧：  
    在 network 中全局搜索你想要爬取的内容，找到请求链接，确定请求返回的内容是我们想要的。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70]

## 2. 参数 ##

> 1  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 1]  
> 2  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 2]

我们刷新对比参数之后发现参数中 vl5x 和 guid 会发生变化，想来这就是我们的重点所在了吧。

*  我们可以大胆猜测，小心求证

> param是查询字符串，  
> index是页码，  
> page是一页展示的数据量，  
> order是排序方式，  
> 其中，vl5x、number、guid是js代码加密生成得可变参数

*  至此，我们便可以初步构造出表单date了以及URL& headers，代码见下：

import requests
    import json
    import jsonpath
    import execjs
    
    url = "http://wenshu.court.gov.cn/List/ListContent"
    headers = { 
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36",
        "Cookie": "td_cookie=2755526039; td_cookie=2753170589; wzws_cid=a4620e173b15bbc5b35f9f7c83f4c911b9ce99a8502092c0d9f3d7e62f4f8e1d3382e3e142a2141912fcc7cb75730cd663ce4c46045163e4fdd63ffde61f2446; vjkl5=0af3992295ff78e31901d91809ab73d77cb0f58e; "
    }
    data = { 
        "Param": "案件类型:刑事案件",
        "Index": 1,
        "Page": 10,
        "Order": "法院层级",
        "Direction": "asc",
        "vl5x": "1936ae6b8307718503920d5e",  # 可变参数，重点关注
        "number": "wens",
        "guid": "454981be-74fb-e807cac0-912c1411dd5c",  # 可变参数，重点关注
    }

我们先直接请求发现得到数据比较奇怪，明显是经过各种混淆之后的脏数据。所以我们开始逆向工程吧。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 3]

# JS逆向分析参数——vl5x 和 guid #

其实不难，总体过程可以总结为三板斧：

*  搜索，
 *  打断点、调试，
 *  扣（如果这个操作的水平你能达到那谁之手的水平，想必无所不破了~）

## 1. vl5x ##

先搜索我们需要的参数  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 4]  
我们在 **Lawyee.CPWSW.List.js** 文件里找到了这段代码：

$.ajax({
                    url: "/List/TreeContent",
                    type: "POST",
                    async: true,
                    data: {
                        "Param": treeparam,
                        "vl5x": getKey(),
                        "guid": guid1,
                        "number": yzm1
                    },
                    success: function(data) {
                    // ------

可以看出来：

vl5x的值是是用 getKey() 函数算出来的，那么 getKey() 函数 哪里来的， 我们继续找

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 5]

我们找到了 getKey() 函数，可是咱也不敢问这个函数干了啥。害怕不害怕~  
怕的要命，这里我姿势比较浅，请教他人，google百度，总之有了一个不明所以不明觉厉的骚操作

人呐，就是不知道自己可以被预料。一个人的命运啊…  
![在这里插入图片描述][20190523154233430.png]

*  我们在getKey()函数中加断点，开始调试（第二板斧）
 *  取出 getKey() 函数中的第一段eval()函数中的内容de()函数，在console里面运行一下，然后把输出中的 \_fxxx 函数也在console中执行，然后可以看到结果中都是 js 的函数，这些js就是需要我们扣下来的 js， 我们把这些 js 格式化后写入到文件 （‘vl5x.js’）。

> 这里要注意一下 函数的头尾不要多括号少括号，不然会报错。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 6]  
你以为这就结束了嘛？ 不，一切才刚刚开始。  
接下来我们把 getKey()函数中第二行之后的每一行都按照上面的方案在console中执行一遍  
…省略一些操作…  
总之，看到 getCookie('vjk15) 就意味着这一波操作可以了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 7]  
把过程中得到的 js 函数全部写入到 js 文件（‘vl5x.js’）。

大概长这样 将近 1500 行（微笑）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 8]

##### 我们写个demo试一下（还有一些问题需要操作一下） #####

import execjs
    
    with open('vl5x.js', 'r', encoding='utf-8') as f:
        ctx = execjs.compile(f.read())
    x = ctx.call("getKey")
    print(x)

1.  报错1

> execjs.\_exceptions.ProgramError: ReferenceError: getCookie is not defined

搜索找到getCookie（）  
![在这里插入图片描述][20190523182632752.png]  
这个本质上是从cookie里获取一个键为‘vjkl5’的字符串然后正则匹配  
我们先直接从cookie中拿到vjkl5直接赋值

> ![在这里插入图片描述][20190523183011355.png]

继续运行

1.  报错2

> execjs.\_exceptions.ProgramError: ReferenceError: hex\_md5 is not defined

全局搜索找到 hex\_md5  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 9]  
继续

1.  报错3

> 然后少Base64  
> execjs.\_exceptions.ProgramError: ReferenceError: Base64 is not defined

这样实在太慢了，我们研究下加密文件，这这几个加密文件都复制过来  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 10]

### demo一下 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 11]  
顺利生成vl5x参数，小功告成。

## 2. guid ##

*  全局搜索  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 12]  
    稍改

function createGuid() {
        return (((1 + Math.random()) * 65536) | 0).toString(16).substring(1)
    }
    var guid = createGuid() + createGuid() + "-" + createGuid() + "-" + createGuid() + createGuid() + "-" + createGuid() + createGuid() + createGuid();

> guid.js  
> ![在这里插入图片描述][20190523195156288.png]

### demo一下 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 13]  
guid 参数生成成功。

*  两大参数我们基本搞定。
 *  不过还剩下最后一点问题 Cookie

## 3.cookie ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 14]

我们刷新网页分析请求发现了这个 vjkl5 是在这里设置的  
但发现真实的cookie中还有 wzws\_cid 这个字段  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 15]  
但这个参数是哪里来的呢？  
我再想想吧

[Link 1]: http://wenshu.court.gov.cn/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70]: /images/20220128/54cd93bcffbb40c68b79b7e3261f419c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 1]: /images/20220128/f056c653b9a24bd494642fa63c393b96.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 2]: /images/20220128/af4a1063bdf141a78b39dd1684fb6229.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 3]: /images/20220128/f0ae92b3cff64fc7ac6cf5aeebdc2b1d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 4]: /images/20220128/03c4da3b9dae4129a16e0e0cb57cd74a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 5]: /images/20220128/cbd27571d5174693b32c0043b8bc3af6.png
[20190523154233430.png]: /images/20220128/aff7944beb9243c2a29c6fdfe0061b9a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 6]: /images/20220128/bf0f3d667dbc4bf098e7d7cad5f6ad8c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 7]: /images/20220128/8af1efa1eac34f608f2d9cd86bbdf1bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 8]: /images/20220128/d3e66e3fe3df40858afda3a86014e76b.png
[20190523182632752.png]: /images/20220128/11c91ba71ebb4b9e8b7e0cfbfc61372d.png
[20190523183011355.png]: /images/20220128/caa5ac8fed65472d9b81a9a5afcba897.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 9]: /images/20220128/549777b8b14f4cdab302ef8c81e89262.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 10]: /images/20220128/2c19f8563cf043b89c98a7bd51849686.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 11]: /images/20220128/456d8544a1f9481fa014cff3d93104e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 12]: /images/20220128/d565ff9e0f8748c5b00a297af4375174.png
[20190523195156288.png]: /images/20220128/578e7d7bab1a459890cd2ddb890a8581.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 13]: /images/20220128/959eba74c726489ba55fbd387b5f704c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 14]: /images/20220128/cef68a86e0244338b2f7fcb273740617.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 15]: /images/20220128/199e0b9bad7f42769b973ac66617d3ce.png