Python爬虫——去哪儿网评论

布满荆棘的人生 2022-12-18 13:53 307阅读 0赞

### 需求 ###

由于疫情的影响，可能大家更加偏向于与家人在周边游~ 所以我们来到去哪儿网的周边游：https://dujia.qunar.com/p/around

界面如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center]  
可以看到，我们的周边游也有很多页的数据~如果我们需要去货比n家的话，当然是数据越多越好。但是为了前期分析的便利，我们以第一页为主。那在该页，我们需要获取到的基本信息为：标题，价格，详情页跳转链接

### 基础需求实现 ###

还是老步骤，在写代码之前，我们需要定位到需求数据所在的url。先来 https://dujia.qunar.com/p/around 康康把~

*  F12 打开谷歌自带的工具
 *  看到 Network/Preview 确认需要数据是否在该页面  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 1]  
    结果发现，OMG，没有想要的数据。咋办呢？

因为最开始提到该数据比较多存在翻页，所以我们就需要揣测一下，数据是否是 ajax 动态加载 的。所以我们操作如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 3]  
在这里，我们就可以开始写一小部分代码获取这一部分数据了。但是，我们还有个需求，如果想要了解一个东西到底好不好，很直观的就是看评价。点进详情页中，如下，点击\*\*\*\*条评论。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 4]  
则会自己定位到下图，那我需要获取的则是好评的条数，中评的条数，差评的条数等等。

![在这里插入图片描述][20201026230643866.png_pic_center]  
首先，来看一下这个请求链接，貌似之前并没有见过。那如果说其它的详情页的数据链接跟这个是一致的就很好办，but…我们来看一下

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 7]

emmm…https://后面几个字母不一样呀~那接下来就是要找到每个详情页对应的这个字母(毕竟后面的都是一致的)。怎么来找呢？这个老手破解的思路非常重要，我们来思考：当每个详情页的数据链接都不一样时，我们应该回到开始的页面去搜索。

其次我们需要注意的是，评论数据的获取是一个post请求，那么当我们光溜溜的直接请求时，就请求不到数据。所以我们往Headers下面来看到post请求需要携带的参数。

https://ukym3.package.qunar.com/user/comment/product/queryComments.json的请求参数：
    type: all
    pageNo: 2
    pageSize: 10
    productIds: 3054605399,3402458495,2596939253,149348919
    rateStatus: ALL
        
    https://zjjs1.package.qunar.com/user/comment/product/queryComments.json的请求参数：
    type: all
    pageNo: 2
    pageSize: 10
    productIds: 2442508559,4227072736,1873936955,4042408069
    rateStatus: ALL

OMG，脑阔痛~又发现 productIds 都是不一致的，所以猜测这个 productIds 仍然是动态加载的数据，或者是 js 生成的。

先按第一种猜测来把!清空所有加载的数据，然后选择 xhr，进行页面刷新…就一个个瞟，或者搜索都可以~在如下发现数据

https://ukym3.package.qunar.com/api/duplicateProduct/teamPrice.json?pId=2596939253&month=2020-10&dep=%E9%95%BF%E6%B2%99&_=1601294926301
        
    https://zjjs1.package.qunar.com/api/duplicateProduct/teamPrice.json?pId=1873936955&month=2020-10&dep=%E9%95%BF%E6%B2%99&_=1601295518744

这个链接 老Amy 亲测，实际上只要保留到 month 前就可以正常的请求数据，所以我们着重关注如何找到 pId。这个需要在之前瞟的时候，要稍作留意，仍然回到最开始的解析页面搜索~冇(mao)问题

*  获取 encodeId–>pId=3948728531 ，summary/supplier/url–>//ukym3.package.qunar.com
 *  对https://ukym3.package.qunar.com/api/duplicateProduct/teamPrice.json?pId=2596939253&month=2020-10 发送请求，获取 变动的4个productIds
 *  对https://ukym3.package.qunar.com/user/comment/product/queryComments.json 发送post请求

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 12]

然后，代码也有百来行，大概获取了10页的数据，我就不粘贴到下面了，给大家放在公众号后台，需要的话请回复公众号：“国庆去哪儿”暗号获取。  
![在这里插入图片描述][20201026231135882.gif_pic_center]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221122/628c004efde742c4a039af3657f98bec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221122/69252638ded04e76ba9adb859f477df4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221122/81fba946ec7c48209ebb68c499efa05f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221122/d6816458b3264e6b8f442fe1bf03c199.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221122/08ec23775888434fbf1a732c6826be8c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221122/033544718985459fba62649c6674b89d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221122/13e8245cadd54ffbafa6a503f0b85cb5.png
[20201026230643866.png_pic_center]: /images/20221122/75ba270cf09a4cf1a34fca464695e90d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221122/9b891da565f04385b736d3e760b1c58e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221122/426f782f4d5c43bb83cd741cd5010ee4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221122/523f6be1af2643fab514d743469c5c82.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221122/7b1348b1a138404ab5f4cb725e0426ba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221122/ef5e894d8d214292b137289b9425bfe7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221122/12dcb219e0344821a0cab6cf523d0cc8.png
[20201026231135882.gif_pic_center]: /images/20221122/8222b637731746adbdbc0ef13012ba18.png