用Python带你看看全国统一国庆节请假理由是什么~

逃离我推掉我的手 2022-09-17 03:24 64阅读 0赞

点击上方“ **Python爬虫与数据挖掘** ”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

燕台一望客心惊，笳鼓喧喧汉将营。

大家好，我是志斌~

因为疫情的影响，很多高校开学后都选择了封校，从而来防止疫情在学校里出现，但是马上国庆了，学校也因时制宜改变了防疫方式，比如请假可以申请离校外出。

就让志斌用Python来带大家看看微博上话题热度第四的《全国统一国庆节请假的理由》的网友们是怎么请假的，并且那个理由是最通用的~

![a6d5aa9c08a6cd4b2e71a54929b2f426.png][]

数据采集

我们是从微博移动端来进行数据采集的。我们按F12，打开开发者模式，对网页进行观察

![4378439166a3775f84eb4a0684eb2854.png][]

我们发现数据存储的网页是一个hotflow开头的页面，它的数据存储的方式是Ajax，那我们就可以知道请求的页面和提取数据的方式了。

在上面，我们已经找到数据存储的网页和方式，那么只需要找到页面之间的联系，构造好循环，就可以批量开始爬取啦~

接下来对不同页面之间的URL进行观察

![1d07b3f23e460187ab2e1adb26cbcf09.png][]

它们URL里面的id和mid是固定不变的，但是max\_id是变化的，然后我又在页面里面发现了max\_id值的规律，每一页的max\_id的值都在上一页中存储着。

![3862bdbb55c3c07b517e575f64ea9248.png][]

但是这样还不能够全部都访问，具体的原因和改进措施，这里因为篇幅，志斌就不介绍了，有兴趣的读者可以看看这两篇文章，有详细解释

数据采集的核心代码：

import requests
    import re
    import time
    import csv
    for page in range(1,10000):
      if page == 1 :
          params = (
              ('id', '4679186482727431'),
              ('mid', '4686092090212455'),
              ('max_id_type', '0'),
          )
    
      response = requests.get('https://m.weibo.cn/comments/hotflow', headers=headers, params=params)
    
      a = response.json()['data']['max_id']
      b = response.json()['data']['max_id_type']
    
      for i in response.json()['data']['data']:
          pinglunshijian = i['created_at']
          ri = pinglunshijian.split()[2]
          shi = pinglunshijian.split()[3].split(':')[0]
    
          dianzanshu = i['like_count']
          neirong = re.sub(r'<[^>]*>', '', i['text'])
          id = i['user']['id']
          yonghumingcheng = i['user']['screen_name']
    
          with open('请假.csv','a',newline='') as f:
              writer = csv.writer(f)
              writer.writerow([yonghumingcheng,dianzanshu,ri,shi])
    
          with open(r'请假.txt', 'a', encoding='utf-8') as f:
              f.write(f'{neirong}\n')

可视化展示

我们此次一共获取了6216条数据，对这些数据进行可视化展示。

**01**

评论点赞top5用户

我们先来看看那些用户的评论最受大家认同。

![c9abcea14a9fddb3ec414dda236bd3c2.png][]

这位叫顾狸狸的网友的评论点赞数是最高的，远超后几名，让我们来看看她的评论是什么，竟能让大家这么认同~

![c8a98e09045c1abe9753132c5d30b351.png][]

这理由确实可哇！而且很有文艺范，不像我只会用亲戚朋友结婚来当理由~

**02**

评论词云图

![eea9294d2821dbb312563910f274ef47.png][]

我们发现结婚、姐姐、婚礼这三个词比较多，结合从微博上看到的评论，看来大家都是一样用参加姐姐婚礼请假回家的理由最多~

![22250f8c9c8e334e2b7c57d1201cad6b.png][]

图片来源于微博~

词云图代码：

with open("请假.txt",encoding='utf-8') as f:
      job_title_1 = f.read()
    contents_cut_job_title = jieba.cut(job_title_1)
    contents_list_job_title = " ".join(contents_cut_job_title)
    wc = WordCloud(stopwords=STOPWORDS.add("一个"), collocations=False,
                 background_color="white",
                 font_path=r"K:\苏新诗柳楷简.ttf",
                 width=400, height=300, random_state=42,
                 mask=imread('xin.jpg', pilmode="RGB")
                 )
    wc.generate(contents_list_job_title)
    wc.to_file("推荐语.png")

小结

1. 你的请假理由是什么呢？欢迎大家来找志斌分享哟~

2. 虽然国庆可以外出，但是大家还是要做好防护哟~

3. 本文仅作学习参考，不做它用。

小伙伴们，快快用实践一下吧！如果在学习过程中，有遇到任何问题，欢迎加我好友，我拉你进Python学习交流群共同探讨学习。

![3868685f5aa45679796609e2563c4751.png][]

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  [手把手教你用Python来模拟绘制自由落体运动过程中的抛物线（附源码）][Python]
 *  [如何利用Python实现'2021年9月28日'转换位为'2021/9/28'格式？][Python_2021_9_28_2021_9_28]
 *  [盘点3种Python网络爬虫过程中的中文乱码的处理方法][3_Python]
 *  [什么？requests爬虫库明明安装成功了，为啥用不了？][requests]

![ea8c4d219b50508c7030fa05593d3245.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~~

[a6d5aa9c08a6cd4b2e71a54929b2f426.png]: /images/20220828/188fc201b6444a359e138b990cb8634a.png
[4378439166a3775f84eb4a0684eb2854.png]: /images/20220828/aa04842a36f04ecc924bf6596ade82a4.png
[1d07b3f23e460187ab2e1adb26cbcf09.png]: /images/20220828/29c75cbf6a674d26bf3b5f8f56920944.png
[3862bdbb55c3c07b517e575f64ea9248.png]: /images/20220828/2bc7ddbc298d45b98d0d13788792bdee.png
[c9abcea14a9fddb3ec414dda236bd3c2.png]: /images/20220828/c29fd023d8844d07b7bd261599fc291c.png
[c8a98e09045c1abe9753132c5d30b351.png]: /images/20220828/b3ded7bdcf2d49a497f363976edfe9b8.png
[eea9294d2821dbb312563910f274ef47.png]: /images/20220828/296e791c73774cd0ad15a8afc088605c.png
[22250f8c9c8e334e2b7c57d1201cad6b.png]: /images/20220828/4c76aec3301a41729e159e8a28640228.png
[3868685f5aa45679796609e2563c4751.png]: /images/20220828/3b2853a900584f968f0b6f2bb61596d8.png
[Python]: https://blog.csdn.net/pdcfighting/article/details/120915554
[Python_2021_9_28_2021_9_28]: https://blog.csdn.net/pdcfighting/article/details/120792927
[3_Python]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA==&mid=2247497695&idx=1&sn=5d1f8d8071217593afde0ca25769e283&chksm=fcc0b1f4cbb738e2784610978a600226bfadfcaa3298112183760359d8e791642f5101dccf2d&scene=21#wechat_redirect
[requests]: https://blog.csdn.net/weixin_39730801/article/details/110176047
[ea8c4d219b50508c7030fa05593d3245.png]: /images/20220828/95463b74bdb54d9fa973dac6657631d8.png