python 词云，通过抓取数据进行生成

梦里梦外; 2022-12-28 04:05 157阅读 0赞

### python 词云 ###

*  闲来随笔

# 闲来随笔 #

from  urllib import request
    from bs4 import BeautifulSoup
    from wordcloud import WordCloud
    import jieba
    import matplotlib.pyplot as plotShow
    # 空格符替换
    def replace(content):
        str=''
        for i in content:
            if i != ' ':
                str+=i
        return str
    def pythonpScrap1Camouflage():
        # 伪装成浏览器登录，通过设置User_Agent，将其存放到Headers中，网站服务器通过User_Agent进行判断是谁在登录访问该网页
        head = { 
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0"
        }
        # 访问的网页地址
        url = "https://movie.douban.com/top250?format=text";
        # content=input("请输入你想搜索的信息，将从baidutieba返回")
        # 拼装全量地址
        fullHtml = url  # +content
        # 伪装浏览器访问
        req = request.Request(fullHtml, headers=head)
        # 打开网页接收内容
        res = request.urlopen(req)
        # 读取网页内容
        html = res.read()
        # 读取网页信息
        # print(res.info())
        # 网页信息字节码转译
        html = html.decode("utf-8")
        # 使用BeautifulSoup从网页抓取数据
        soup = BeautifulSoup(html, "html.parser")
        # 循环抓取内容(抓取div 属性名为pic 的所有内容)
        # 开始使用BeautifulSoup进行标签分析，find_all方法是找到所有此标签的内容，然后在在此标签中继续寻找，
        # 如果标签有特殊的属性声明则一步就能找出来，如果没有特殊的属性声明就像此图中的评价人数前面的标签只有一个‘span’
        # 那么就找到所有的span标签，按顺序从中选相对应的，在此图中是第三个，所以这种方法可以找特定行或列的内容。
        # 将抓取到的信息读入到指定txt文件中，供词云生成做准备
        fileWrite = open('wordCount.txt', 'w+',encoding='utf-8')
        for tag in soup.find_all("div", class_="item"):
            m_movie_level = tag.find("div", class_="pic")
            # 电影链接
            fileWrite.write(m_movie_level.find('a').get('href'))
            # 电影图片链接
            fileWrite.write(m_movie_level.find('a').find("img")["src"])
            # 电影排名
            fileWrite.write(m_movie_level.find('em').get_text())
            # 获取电影详细信息
            # 获取div
            m_movie_info_hd = tag.find("div", class_="info").find("div", class_="hd")
            # 获取div下面所有的span信息
            m_movie_info_hd_span = m_movie_info_hd.findAll("span");
            # 获取电影名称
            fileWrite.write(m_movie_info_hd_span[0].contents[0]);
            # 获取电影相关备注信息
            fileWrite.write(m_movie_info_hd_span[1].contents[0] + m_movie_info_hd_span[2].contents[0]);
            # 获取导演以及主演
            m_movie_info_hd = tag.find("div", class_="info").find("div", class_="bd")
            # 获取导演以及主演
            m_movie_info_hd_class = m_movie_info_hd.findAll("p");
            fileWrite.write(replace(m_movie_info_hd_class[0].contents[0]));
            # 获取评价
            m_movie_info_hd_star = m_movie_info_hd.find("div", class_="star").findAll("span");
            fileWrite.write(replace(m_movie_info_hd_star[1].contents[0]))
            # 影评
            m_movie_info_hd_cri = m_movie_info_hd.find("p", class_="quote").get_text()
            fileWrite.write(replace(m_movie_info_hd_cri));
        fileWrite.close()
    def pythonpScrap2wordcloud1():
        # 获取文件内容
        text=open(r'wordCount.txt',"r",encoding='utf-8').read();
        # 结息内容并作分词处理，如果不通过分词，无法直接生成正确的中文词云
        cut_text = jieba.cut(text)
        # 必须给个符号分隔开分词结果来形成字符串,否则不能绘制词云
        result = " ".join(cut_text)
        # 生成词云图，这里需要注意的是WordCloud默认不支持中文，所以这里需已下载好的中文字库
        # 无自定义背景图：需要指定生成词云图的像素大小，默认背景颜色为黑色,统一文字颜色：mode='RGBA'和colormap='pink'
        wc=WordCloud(
            # 设置字体，不指定中文是出现乱码
            font_path="C:/Windows/Fonts/STXINGKA.TTF",
            # 设置背景色
            background_color='white',
            # 设置背景色
            width=500,
            # 设置背景高
            height= 350,
            # 设置最大字体
            max_font_size=50,
            # 设置最小字体
            min_font_size=10,
            # 设置
            mode='RGBA',
            colormap='pink'
        )
        # 产生词云
        wc.generate(result)
        # 输出图片
        wc.to_file(r'wordClound.png')
        # 4.显示图片
        # 指定所绘图名称
        plotShow.figure("jay")
        # 以图片的形式显示词云
        plotShow.imshow(wc)
        # 关闭图像坐标系
        plotShow.axis("off")
        plotShow.show()
    if __name__=="__main__":
        # 抓取豆瓣网电影，并提取到文件中
        pythonpScrap1Camouflage();
        # 生成词云
        pythonpScrap2wordcloud1()