[原创]-数据可视化实战项目

怼烎@ 2022-12-30 13:52 158阅读 0赞

![format_png][]

# 数据可视化实战项目 #

*  NLP
 *  数据可视化
 *  request
 *  BeautifulSoup

#爬虫所需
     import requests
     from bs4 import BeautifulSoup
     
     
     # Nlp可视化所需包
     import matplotlib.pyplot as plt
     from wordcloud import WordCloud
     import jieba
     import jieba.analyse
     import pandas

## 1、爬虫其实很简单 ##

> 进入糗事百科
> 
> https://www.qiushibaike.com/text/
> 
> 这里以：`段子内容`来说，其它类似同理的。

![format_png 1][]

### 1、打开开发者模式 ###

什么是开发者模式呢？

*  通常情况是方便前端开发调试页面
 *  如何打开呢？

方式：

*  浏览器右键，选择**检查**
 *  ctrl + shift + i  / F12 — windows
 *  option+command+I  — Mac

![format_png 2][]

`Request Headers` 里面是我们用浏览器访问网站的信息，有了信息后就能模拟浏览器访问这也是为了防止网站封禁IP，不过糗事百科一般是不会封IP的，也是公开信息，仅用于学习。

### 2、模拟浏览器 ###

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36

### 3、准备工作 ###

*  杠精请绕道哦，这里说的是公开数据，不非法用途，仅用于学习，自然也就没有反爬啊 什么的。

`不信，你来试试咯？`

所需模块：

#requests是一个非常方便的模块。
     pip install requests
     
     #Beautiful soup是另一个python的模块，我们将用这个模块来分解网页的结构，并对其中的内容进行提取。
     pip install beautifulsoup4

#### 小试牛刀 - 跟度娘问个好 ####

# 引入 request包
     import requests
     
     r0 = requests.get('https://baidu.com')
     print(r0.text)

![format_png 3][]

可能有的同学一开始这样爬会得到一个timeout的错误。如果出现了这样的情况，就是网站怀疑是一个机器人在访问自己，所以作出了一定的阻止。

那怎么办呢？没有关系，我们稍微修改一下我们的代码，改成

# headers的意思就是告诉网站，我们是一个正常的浏览器在给它发送信息，请它给我们正确的信息。
     # Mac
     # headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}
     # 请求头部
     # windows
     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}
     r0 = requests.get('https://baidu.com', headers = headers)
     content = r0.text
     print(content)

![format_png 4][]

#### 糗事百科段子 ####

##### 1 网页爬取 #####

# 设定一个网址不变的部分，然后我们只要每次在这个后面加数字就可以了
     base_url = 'https://www.qiushibaike.com/text/page/'
     headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}
     r1 = requests.get('https://www.qiushibaike.com/text/', headers = headers)
     content = r1.text
     print(content)

![format_png 5][]

接下来我们来分析网站的结构。

可能你也发现了，直接使用我们打印出来的结果分析起来十分吃力。所以我们使用更加高效的工具——开发者工具（Developer tools）来进行分析。通常来说任何一个浏览器都有开发者工具，这里我们以Chrome为例。也就是我们上边所说的 开发者模式。

![format_png 6][]

可以看到我们要的段子的内容就储存在这个叫做 **span** 的标签中。

我们再往上追寻，可以看到<span>标签是属于一个叫做<div class="content">的标签的。继续往上我们可以看到一个叫做<div class="article block untagged mb15 typs\_hot" id =....>的标签。

![format_png 7][]

所以很显然，我们只要把这样的标签都提取出来，我们就可以得到糗事百科中的段子了。

![format_png 8][]

##### 2 数据处理 #####

首先我们把我们需要的内容转换到Beautiful soup中。

# 引入Beautiful Soup包
     from bs4 import BeautifulSoup 
     
     # 把刚刚保存在content中的文件放入Beautiful Soup中
     soup = BeautifulSoup(content, 'lxml')
     
     #首先我们分解出所有class为article block untagged mb15 typs_hot 标签：
     divs = soup.find_all(class_ = 'article block untagged mb15 typs_hot')

![format_png 9][]

接下来我们要做的事情就是把这些div里面的span都取出来。

我们先把最后一行去掉，避免不必要的打印。然后提取出每个div里面的span

# 取出每个div中的数据
     for div in divs:
         joke = div.span.get_text()
         print(joke)
         print("------")

![format_png 10][]

##### 3 多页面数据 #####

完整代码,不到几十行的爬虫代码，你会了吗?

#!/usr/bin/env python 
     # -*- coding:utf-8 -*-
     __author__ = 'JackFeng'
     # @Time    : 20/12/20 23:18
     # @Author  : JackFeng
     # @FileName: pySprider.py
     # @Software: PyCharm
     # @Blog    ：http://www.a2data.cn/
     
     import requests
     from bs4 import BeautifulSoup
     
     """
     # 所需要依赖包
     pip install requests
     pip install beautifulsoup4
     """
     
     
     # 请求头部
     headers = {
         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}
     # 设定一个网址不变的部分，然后我们只要每次在这个后面加数字就可以了
     base_url = 'https://www.qiushibaike.com/text/page/'
     # 设置循环，让num分别等于2-9
     for num in range(2, 9):
         print('第{}页'.format(num))
         r1 = requests.get(base_url + str(num), headers = headers) #这里对网址进行一个修改
         # 剩下的部分都是和原来的代码一样
         content = r1.text
         # print(content)
     
         # 把刚刚保存在content中的文件放入Beautiful Soup中
         soup = BeautifulSoup(content, 'lxml')
     
         divs = soup.find_all(class_='article block untagged mb15 typs_hot')
         # 我们可以打印出divs看看是什么样子的。
         # print(divs)
         for div in divs:
             joke = div.span.get_text()
             print(joke)
             print("------")

![format_png 11][]

## 2、数据挖掘 ##

### 1、数据存储 ###

根据爬取的数据，将数据存储下来。为了做出更加好看，有趣，有用的可视化视图。

*  优化爬虫内容
 *  增加 作者，评论数 ，好笑度

# -*- coding: utf-8 -*-
     from urllib import parse
     
     import requests
     from lxml import etree
     
     headers = {
         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.66',
         'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
         'Referer': 'https://www.qiushibaike.com/text/',
         'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
     }
     next_page = "/text/page/1/"
     while next_page:
         response = requests.get(url=parse.urljoin('https://www.qiushibaike.com', next_page), headers=headers)
         html = etree.HTML(response.content)
         infos = html.xpath("//div[contains(@class,'article block untagged mb15')]")
         for one in infos:
             content = one.xpath("string(.//div[@class='content'])")
             vote = one.xpath(".//div[@class='stats']/span[@class='stats-vote']//i/text()")
             vote = vote[0] if vote else 0
             comments = one.xpath(".//div[@class='stats']/span[@class='stats-comments']//i/text()")
             comments = comments[0] if comments else 0
             cmt_main = "".join(one.xpath(".//div[@class='cmtMain']/div[@class='main-text']/text()")).strip()
             item = {
                 "content": content.strip(),
                 "vote": vote,
                 "comments": comments,
                 "cmt_main": cmt_main,
             }
             print(item)
             print("*" * 100)
                     #爬虫结果保存到文件wordCloud，供词云使用
             with open('wordCloud.txt', 'a', encoding='utf-8') as a:
                 a.write(item['content'])
         next_page = html.xpath("//span[@class='next']/../@href")
         next_page = next_page[0] if next_page else None
         print(next_page)

![format_png 12][]

保存到wordCloud文件：

![format_png 13][]

### 2、Nlp 分词 ###

> `stopWords`下载源自网络 + 自己更新了部分词汇 —— DsTeam Kath

import pandas as pd
     import numpy
     import jieba
     
     #去除停用词
     wordCount = open('wordCloud.txt',encoding='utf-8').read()
     stopwords = pd.read_csv('stopWords.txt',index_col=False,quoting=3,sep="\t",names=['stopword'], encoding='utf-8') #stopWords下载源自网络+自己更新了部分词汇
     words=[]
     wordCount = jieba.lcut(wordCount)
     for word in wordCount:
         if len(word) > 1 and word != '\r\n':
             words.append(word)
     wordCount=pd.DataFrame({'words':words})
     # print(wordCount.count())
     wordCount=wordCount[~wordCount.words.isin(stopwords.stopword)] # 保留不在停用词词表中的词，即把包含在停用词表里的词语去掉
     print(wordCount.count())
     
     #统计词频
     wordStat=wordCount.groupby('words').agg(计数=pd.NamedAgg(column='words', aggfunc=numpy.size)).reset_index().sort_values(by='计数', ascending=False)
     print(wordStat.head(20))

![format_png 14][]

## 3、数据可视化 ##

### 1、词云制作 ###

#安装词云库
     pip install wordcloud
     
     # jieba nlp分词
     pip install jieba

#词云制作
     from wordcloud import WordCloud,ImageColorGenerator
     import jieba
     import imageio
     
     f = open('wordCloud.txt',encoding='utf-8').read()
     f = ' '.join(jieba.lcut(f))
     stopwords = open('stopWords.txt',encoding='utf-8').read()
     
     
     # 词云背景
     background = imageio.imread("qiubai.jpeg")
     image_colors = ImageColorGenerator(background)
     w = WordCloud(
         mask=background,
         width=690,
         height=560,
         font_path='C:\Windows\Fonts\simhei.ttf',  # 自己可以更换字体
         scale=5,
         stopwords=stopwords)
     
     w.generate(f)
     w.to_file('qiubaiWordCloud.png')
     # word_counts = collections.Counter(object_list)

![format_png 15][]

### 2、pyecharts画图 ###

![format_png 16][]

# 词云
     from pyecharts import WordCloud
     wordcloud = WordCloud(width=1300, height=620)
     wordcloud.add("", wordStat['words'], wordStat['计数'], word_size_range=[20, 100])
     wordcloud

![format_png 17][]

### 3、图表 ###

#coding=utf-8
     from __future__ import unicode_literals
     
     #绘制图表
     
     from pyecharts import Bar
     
     bar = Bar("糗事百科","词频分布(DataScience)")
     bar.add("分词",wordStat['words'], wordStat['计数'])
     #bar.print_echarts_options() # 该行只为了打印配置项，方便调试时使用
     bar.render() #生成本地 HTML 文件
     bar

![format_png 18][]

### 4、Bar ###

#EG 案例
     from pyecharts import Bar
     
     attr = ["{}".format(i) for i in wordStat['words']]
     v1 = wordStat['计数']
     
     
     bar = Bar("糗事百科-DataScience")
     bar.add("词频分布",attr,v1,mark_line=["average"],mark_point=["max","min"])
     bar

![format_png 19][]

### 5、饼图 ###

# 饼图
     from pyecharts import Pie
     
     # 数据太多 我们取top 200
     w=wordStat.head(20)
     attr = w['words']
     v1 =  w['计数']
     
     
     pie= Pie("糗事百科-玫瑰图示例-DataScience",title_pos='center',width=900)
     pie.add("词频分布",attr,v1,center=[25,50],is_random=True,redius=[30,75],rosetype='redius')
     pie.add("词频分布",attr,v1,center=[75,50],is_random=True,redius=[30,75],rosetype='area',is_legend_show=False,is_label_show=True)
     
     pie

![format_png 20][]

![format_png 21][]

特别彩蛋(留言**送书（两本）**)：

![format_png 22][]

购买链接：

![format_png 23][]

*请添加**小编**,回复关键词：\[**数据可视化**\],*

![format_png 24][]

**-今日互动-**

你学会了吗？欢迎文章下方留言互动![format_png 25][]

如果对你有帮助的话

❤️来个「转发朋友圈」和「在看」，是最大的支持❤️

[format_png]: /images/20221120/787c27f7a8c34b7d9f367e3f39d04c4d.png
[format_png 1]: /images/20221120/6ce23123fbc94053a0d526b311ec0e1c.png
[format_png 2]: /images/20221120/b26490f1e6ea442a84c38dcd67b090d3.png
[format_png 3]: /images/20221120/9b49fbb5dcc94c4ebe08cce693e84a2d.png
[format_png 4]: /images/20221120/e837800f68d1435fbe8bbb52abec83b0.png
[format_png 5]: /images/20221120/68de9717d3304365b4238536c8ad1cbc.png
[format_png 6]: /images/20221120/12871e7affb04a29a67e50ff39fe09cb.png
[format_png 7]: /images/20221120/1b34a7fb311f49ae82bec7248b3e02ae.png
[format_png 8]: /images/20221120/7279d9f1618546cc8008794a259e24d9.png
[format_png 9]: /images/20221120/ff81b4508260479ba8a878fd74d85caa.png
[format_png 10]: /images/20221120/19d0751f9563446d9cada0c002f37a5c.png
[format_png 11]: /images/20221120/53af7515e3564373b7725e179120007d.png
[format_png 12]: /images/20221120/5631a94d125942a2bfc9f4ace621d6b0.png
[format_png 13]: /images/20221120/514a57d17f3c4b8a8a0d1c6978c8a697.png
[format_png 14]: /images/20221120/1b9208867a9646429cc2e740a37333ca.png
[format_png 15]: /images/20221120/f3e1b47af818427b8f9b7914efd88c80.png
[format_png 16]: /images/20221120/9a453f4aaace4a50a71b839e0df2d9be.png
[format_png 17]: /images/20221120/21324ce0174e4d8681fd8ccb47731d76.png
[format_png 18]: /images/20221120/b22e7e3bf89d41ecbd83544412995820.png
[format_png 19]: /images/20221120/9140d36be4374fdb9ad11d647cec8954.png
[format_png 20]: /images/20221120/988c059b21bc4f5d861a95b34e2e718d.png
[format_png 21]: /images/20221120/a63d5a39d3cd4039989dbbc76fc807bb.png
[format_png 22]: /images/20221120/1be28dd80e414b98a9e1569d99ff737a.png
[format_png 23]: /images/20221120/7696256d066d45ccb67d2a93b86eb7de.png
[format_png 24]: /images/20221120/616b0b76615a47faa133fc0ab40b5ff8.png
[format_png 25]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9xaWFTbDNSVDFSYzJ4RU5mVUZjdDVLNUZ6V053UHVFR3FSSG8zVktXelJjY3RhMkJYaWNHelRRdXNKc0RrWlZZS1BiUUFsY3dVUFA3M0tCYXhHUGV3NWR3LzY0MA?x-oss-process=image/format,png