「Python 数据化运营」抓取中医新闻数据并制作可视化词云图

布满荆棘的人生 2022-09-07 12:13 133阅读 0赞

### 文章目录 ###

*  内容介绍
 *  数据抓取
 *  词云制作

# 内容介绍 #

可视化的词云图是数据化运营中近些年来兴起的一种数据可视化的图表，在各种数据相关应用中均有展现，基于数据分析也能够通过纯文本来实现。词云图一般的展现形式是多个词根据其值的大小，通过不同字体大小、不同颜色进行不同程度地重点突出，它相较于其他类型统计图可能并不是那么全面，不能为我们提供很精确的数值信息，但其可以对文本数据中出现频率较高的“关键词”进行重点突出，让用户能够一眼就看到最关键的信息，作用类似于学术论文开头的关键词，让人在未全览所有内容之前就知悉重点。

本文通过抓取健康类新闻数据进行可视化词语的介绍。

# 数据抓取 #

import requests
    import jieba
    import re
    from collections import Counter
    from gerapy_auto_extractor.extractors import *
    import pyecharts.options as opts
    from pyecharts.charts import WordCloud
    
    headers = { 
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE'
    
    }
    
    # 获取文章的列表信息
    url = "https://www.9939.com/news/hrsz/"
    response = requests.get(url,headers=headers)
    data_list = extract_list(response.text)

# 词云制作 #

# 遍历文章列表拼接文章正文
    strs = ""
    for i in data_list:
        html = requests.get(i["url"],headers=headers)
        data_detail = extract_detail(html.text)
        strs = strs + data_detail["content"]
    
    # 只提取中文字符
    string_data = re.sub("[A-Za-z0-9\!\%\[\]\，,\n\、:“”。— ()-.]", "", strs)
    
    # 进行jieba分词
    string_data=jieba.cut(string_data,cut_all=False)
    
    # 计算词频
    string_data=dict(Counter(string_data))
    # 剔除出现频率小于10的词
    for k in [i for i in string_data.keys()]: 
        if string_data[k] < 10:
            del string_data[k]
    
    c = (
        WordCloud()
        .add(series_name="", data_pair=string_data.items())
        .set_global_opts(
            title_opts=opts.TitleOpts(
                title="健康新闻热词词云", title_textstyle_opts=opts.TextStyleOpts(font_size=23)
            ),
            tooltip_opts=opts.TooltipOpts(is_show=True),
        )
    )
    c.render_notebook()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]: /images/20220829/7b73891c42ed432087e2f0b78e0116ba.png