【七麦数据】七麦数据js爬虫(附代码)

「爱情、让人受尽委屈。」 2024-04-17 11:24 16阅读 0赞

#### 一、你踢没踢假球都对得起你这个结果 ####

1、目标网址:[我在这里][Link 1]  
2、主要环境:python3.8 exejs base64 requests

#### 二、打小我爷爷就跟我说一定要做有把握的事 ####

首先F12搞一搞，看一下ajax请求的url，硬看，就硬看。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70]

> url大致相同，不同的是后面索引0，1，2,目测一下页面，一共三列，权当每列一次请求吧。

#### 三、谁要的主食？恶习赶紧改掉啊！吃龙虾一样能吃饱 ####

全局搜一下真实url，得到下图结果，打个断点调试一下，目标是搞清楚`analysis`是怎样生成的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70 1]  
一路F9下来，看到了这里，下面便是analysis生成的具体逻辑，其中主要是对参数列表进行了base64处理，以及一系列的js操作，具体应用的js已经抠出来放到文件。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70 2]

#### 四、你可以叫我二奶。 ####

--------------------

完整代码：[在这里][Link 2]

--------------------

[Link 1]: https://www.qimai.cn/rank
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/55682c27a4f14f329cfc017ad820a878.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/e43793762c7040e5a6134aa32e11a991.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjQwMDgx_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/afbb0a2cce4c467bb86d3e3106ccf383.png
[Link 2]: https://github.com/xinv1996/spiderslab/tree/main/%E4%B8%83%E9%BA%A6%E6%95%B0%E6%8D%AE