【爬虫实战】成都近五年的温度、空气质量变化趋势

我不是女神ヾ 2022-04-24 08:00 815阅读 0赞

### 简介 ###

博主是电子科技大学、信息与通信工程专业、研三在读，硕士在成都待了三年，毕业后即将前往北京字节跳动大数据开发岗位，进入人生的另一阶段。

临近毕业，意味着即将告别人生中最后不到三个月的学生生涯。在离开天府之国之前，总想留下点什么，于是产生了本文。

### 正文 ###

本文是一次爬虫实战，文章主要**分析了成都近五年的温度、降雨、空气质量变化趋势**。文章主要分为两个部分：

*  **温度、降雨的趋势统计**
 *  **空气质量的统计**

#### 一、温度、降雨量统计 ####

降雨量和温度的统计主要来源于：[历史天气查询网站][Link 1]  
该网站收录了2011年到现在的历史天气数据

**1.url分析**  
url：[https://m.tianqi.com/lishi/chengdu/201904][https_m.tianqi.com_lishi_chengdu_201904]  
从url可以看出规律：[https://m.tianqi.com/lishi/][Link 1] \+ 城市名字全拼 + 两位数的月份  
基于这一点这部分数据直接采用requests请求即可  
**2.页面分析**  
下图是url： [https://m.tianqi.com/lishi/chengdu/201904][https_m.tianqi.com_lishi_chengdu_201904] 返回的页面  
![1240][]  
上图中包含了2019年4月份的所有天气数据：有这个月的平均高低温统计和当前月每一天的天气数据，对于以上的数据，文章只需要以下几个：

*  平均低温和平均高温：主要由于统计近五年长度的天气变化情况  
    ![1240 1][]  
    平均低温指的是当前月每一天的最低温平均值，对应于上图中左边一列数据的平均值，平均高温也是类似
 *  天气情况：即对应下图数据  
    ![1240 2][]  
    这部分数据用于统计成都近五年的下雨天数变化情况  
    网站的页面也比较简单：  
    **（1）平均高低温数据**  
    ![1240 3][]  
    这部分数据是以表格形式组织的，文章使用pyquery进行解析  
    **（2）天气数据**  
    ![1240 4][]  
    只需要提取上图职工的\*\*<a\*\*标签中的数据即可，文章使用pyquery解析数据

### 二、空气质量统计 ###

空气质量（AQI）数据；来源于网站[PM2.5历史数据][PM2.5]  
网站值收录了2014年到现在的历史数据  
**1.url分析**:  
[https://www.aqistudy.cn/historydata/daydata.php?city=成都&month=201903][https_www.aqistudy.cn_historydata_daydata.php_city_month_201903]  
改变url中的城市和month即可得到需要的数据  
使用requests可以实现  
**2.页面分析**  
下图是url： [https://www.aqistudy.cn/historydata/daydata.php?city=成都&month=201903][https_www.aqistudy.cn_historydata_daydata.php_city_month_201903] 返回的页面  
![1240 5][]  
上图包含了当前月每一天的详细AQI数据，在本文章只需要提取AQI这一列对应的数据即可，提取到AQI，之后根据下图即可转化为对应的空气质量等级：  
![strip][]  
根据上图，本文对提取到的AQI数据划分为以下几个类别，并统计对应类别的天数：

*  优：AQI <= 50
 *  良以上（包含良和优）：AQI <= 100
 *  轻度污染以上（包含轻度污染、良和优）：AQI <= 150
 *  轻度污染以下（包含中度、重度和严重污染）：AQI >= 151

在提取数据前都需要对网页的源码进行分享，上图的网页源码如下：  
![1240 6][]  
在源码分析时发现一个问题，源码只有表头数据，表格内容数据并没有直接出现，并且**没有发现有AJAX请求**，进一步分析：  
![1240 7][]  
数据获取的关键函数是getServerData函数，但是进一步追踪下去并还是没有找到服务器返回给浏览器的json数据，之后便放弃了requests，转而使用selenium，简单来说selenium获取到的是js渲染后的页面源码，更多关于selenium的介绍请看历史文章。使用selenium获取到的页面源码如下如所示：  
![1240 8][]  
上图是浏览器渲染后的页面源码，本文使用pyquery进行解析获取数据，更多关于pyquery的介绍请看历史文章

### 代码实现和结果分析 ###

**（1）程序实现时主要分为以下几个模块**

*  获取、拼接url
 *  访问上面url，并返回页面源码
 *  页面数据解析、和数据存储
 *  数据可视化

**（2）下面是成都天气数据的可视化**  
下图中的的横坐标都是代表月份：1到12月  
![1240 9][]

上图看出：18年7月下了27天的雨，而且剩余三天：两天是阴一天是多云  
另外，18年1到5月份以及9月到11月的整体下雨天数比前几年少，整体而言，18年的下雨天数明显减少

![1240 10][]

2012年全年有190天在下雨，全年一半以上都有雨。  
一个很奇怪的现象：17年后下雨的天数断崖式下降！！！

![1240 11][]

![1240 12][]

每年成都的温度数据较为规律，七、八月份是一年中最热的时候：此时平均低温23摄氏度左右、平均高温32度左右

![1240 13][]

![1240 14][]

![1240 15][]

![1240 16][]  
近五年的数据表明，**污染主要出现在：1月、2月以及12月**

![1240 17][]

上图可以看出：

*  成都空气质量为优的天数逐渐增加
 *  良以上的空气质量天数增加
 *  轻度污染以上的天数也是增加
 *  中度、重度和严重污染的天数在减少
 *  整体而言，成都的空气质量在逐步改善

--------------------

### 源码 ###

扫描下方二维码，发送关键词“**成都**”即可获取本文的完整源码和详细程序注释  
![扫码关注，及时获取更多精彩内容。（博主今日头条大数据工程师）][1240 18]

公众号专注：**互联网求职面经**、**java**、**python**、**爬虫**、**大数据**等技术、海量**资料分享**：公众号后台回复“csdn文库下载”即可免费领取【csdn】和【百度文库】下载服务；公众号后台回复“**资料**”:即可领取**5T精品学习资料**、**java面试考点**和**java面经总结**，以及**几十个java、大数据项目**，**资料很全，你想找的几乎都有**

[Link 1]: https://m.tianqi.com/lishi/
[https_m.tianqi.com_lishi_chengdu_201904]: https://m.tianqi.com/lishi/chengdu/201904
[1240]: /images/20220217/21a17ab64128476dba8cb0577de844bd.png
[1240 1]: /images/20220217/7a2e11268a9a420fa05e0d42b600f22d.png
[1240 2]: /images/20220217/52469e52e2254d4fac5ae4622677137e.png
[1240 3]: /images/20220217/ffca3c009ee940209efafeab701a76f7.png
[1240 4]: /images/20220217/f17ba9a5fb8e414eb78ec2c0aafbe106.png
[PM2.5]: https://www.aqistudy.cn/historydata/
[https_www.aqistudy.cn_historydata_daydata.php_city_month_201903]: https://www.aqistudy.cn/historydata/daydata.php?city=%E6%88%90%E9%83%BD&month=201903
[1240 5]: /images/20220217/f94fe11be25e4c9f87110e7f647c954b.png
[strip]: /images/20220217/ee06dfa3149d416d8d019884eec3b86e.png
[1240 6]: /images/20220217/eef321a11485409ba50225b8f5e0d56d.png
[1240 7]: /images/20220217/c343ed307a5a4062a59a3c27bb190469.png
[1240 8]: /images/20220217/f7b91c5fa5f3491fb48e11175adf2f8a.png
[1240 9]: /images/20220217/1a07bcc546c84396baaf3c15fee54dd1.png
[1240 10]: /images/20220217/6fa7be79db4645c59a4950fad34c2dbe.png
[1240 11]: /images/20220217/27cc3664654b4f748f0596de37b8ee56.png
[1240 12]: /images/20220217/6524aa2f722d4a4fa774a428badcb4ec.png
[1240 13]: /images/20220217/1831d3ac2b0843538fd844a2a700592f.png
[1240 14]: /images/20220217/d39daa211ee74de6b9470f73646ab3da.png
[1240 15]: /images/20220217/646619ff153e44079b4355a7a2c05799.png
[1240 16]: /images/20220217/f32d570fe29346868c07eac165527778.png
[1240 17]: /images/20220217/cbde783a9fb5454a8e103d79f40d16a5.png
[1240 18]: /images/20220217/03e29d94a4a2411a8bb4ab81da38ddc9.png