【本地宝】本地宝js爬虫(附代码)

谁借莪１个温暖的怀抱￠ 2024-04-17 11:21 62阅读 0赞

#### 一、作案动机 ####

1、 url：[这个url][url]  
2、目的：拿到网页返回的地区相关新闻信息

#### 二、踩点 ####

1、经过踩点，看到所需数据是在网页中以`json`形式存储在的，然后通过`js`骚操作拼接成到`html`中，其中`res`就是所需数据  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70]  
2、通过请求目标`requestsl`或者`selenium`请求应该可以拿到(我没试)  
3、再找一下这段数据是咋来的，搜一下关键参数或者看一下`script`中有没有`ajax`请求的代码，答案是肯定的，他有。（PS:找了半天，挺难的，对于我这种小白，脑袋大?）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70 1]

#### 三、作案工具 ####

*  python3.8 (版本不重要)
 *  requests
 *  PyExecJS

#### 四、整活 ####

> 观测一下这个网页中的js代码，先向`gl_V5.PHP`发一个post请求，然后获得`res`，然后使用`res.k`拼接下一个请求的参数完成请求，获得数据。

知道大体流程后，观察一下缺失的参数，有这几个`chufa_city`,`mudi_city`,`chufa_qu`,`mudi_qu`,`page`,他的定义code是

global_chufa_city = chufa_city;
    global_mudi_city = mudi_city;
    global_chufa_qu = chufa_qu;
    global_mudi_qu = mudi_qu;

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70 2]

控制台印一下，就是我们网页选择的几个值，下面只需要拿到`s = res.k + _0x240d69(res.k);`其中的s就可搞定。

#### 五、收手吧，阿祖 ####

先构造第一个请求

import requests
    
    headers = {
        
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
    }
    base_url = 'http://m.bj.bendibao.com/news/gelizhengce/gl_V5.php'
    response = requests.post(url=base_url, headers=headers, data={
        "a": "k"})
    json_data = response.json()
    print(json_data)
    # Response: {'k': 'd9724e1eae937b79a8e4744569baae8f1611889060'}

good，good，`var s = res.k + _0x240d69(res.k);` 已经搞一半了，res.k已经获得了，打个断点看看`_0x240d69`函数(全局搜一下也可)：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70 3]  
打个断点调试一下，看一下每个函数的作用：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70 4]

> `_0x504335` : d9724e1eae937b79a8e4744569baae8f1611889060 \# 第一步获得的k  
> `_0x504335`: d9724e1eae937b79a8e4744569baae8f目测将后面的时间戳截取  
> `_0x2d1f('0xd')`:ca9d8813aa2f  
> `_0x2d1f('0xd')`:16b79267d  
> `_0x2d1f('0xd')`:adf5f24ca47  
> `_0x1c605c`：\_0x504335 + \_0x2d1f(‘0xd’)+ \_0x2d1f(‘0xd’) +\_0x2d1f(‘0xd’)拼接一下即可  
> 最后再md5一下

至于每个js函数具体逻辑都在上述所指文件里了，找到所有的js函数，堆在一起（一坨shit），代码就放在下面了。

--------------------

完整代码:[代码在这里][Link 1]

--------------------

[url]: http://m.bj.bendibao.com/news/gelizhengce/all.php?leavecity=hf&leavequ=%E5%A4%A7%E5%85%B4%E5%8C%BA&qu=
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/1b83ffe31b024bc4abf4bdd36f5c345f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/fc7113b68aad484eabee6454d9914837.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/6473bd60b15e4cc3a14d5f25c72f32b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/0851b57aa08e428ebc83b225ecc3c863.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/fe9530013f2f4f2fbcfaa9607ec84692.png
[Link 1]: https://github.com/xinv1996/spiderslab/tree/main/%E6%9C%AC%E5%9C%B0%E5%AE%9D