Python爬取招聘网站数据并做数据可视化处理

忘是亡心i 2022-12-28 08:20 233阅读 0赞

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章来源于青灯编程 ，作者：清风

![1d5999491307aa0207f5dca00d778afc.png][]

# 前言 #

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

**基本开发环境**

*  Python 3.6
 *  Pycharm

**相关模块使用**

*  爬虫模块

import requests
    import re
    import parsel
    import csv

*  词云模块

import jieba
    import wordcloud

**目标网页分析**

![4ec23cf9c049836733005278192781b3.png][]

通过开发者工具可以看到，获取返回数据之后，数据是

在 window.\_\_SEARCH\_RESULT\_\_ 里面，可以使用正则匹配数据。

如下图所示

![4ff86772cf02b544a1dac20fe9f70d84.png][]

'https://jobs.51job.com/beijing-ftq/127676506.html?s=01&t=0'

每一个招聘信息的详情页都是有对应的ID，只需要正则匹配提取ID值，通过拼接URL，然后再去招聘详情页提取招聘数据即可。

response = requests.get(url=url, headers=headers)
    lis = re.findall('"jobid":"(\d+)"', response.text)
    for li in lis:
        page_url = 'https://jobs.51job.com/beijing-hdq/{}.html?s=01&t=0'.format(li)

![a2d7ddc01780865ad9fb5db2557efca5.png][]

虽然网站是静态网页，但是网页编码是乱码，在爬取的过程中需要转码。

f = open('招聘.csv', mode='a', encoding='utf-8', newline='')
    csv_writer = csv.DictWriter(f, fieldnames=['标题', '地区', '工作经验', '学历', '薪资', '福利', '招聘人数', '发布日期'])
    csv_writer.writeheader()
    response = requests.get(url=page_url, headers=headers)
    response.encoding = response.apparent_encoding
    selector = parsel.Selector(response.text)
    title = selector.css('.cn h1::text').get()      # 标题
    salary = selector.css('div.cn strong::text').get()       # 薪资
    welfare = selector.css('.jtag div.t1 span::text').getall()       # 福利
    welfare_info = '|'.join(welfare)
    data_info = selector.css('.cn p.msg.ltype::attr(title)').get().split('  |  ')
    area = data_info[0]         # 地区
    work_experience = data_info[1]      # 工作经验
    educational_background = data_info[2]       # 学历
    number_of_people = data_info[3]     # 招聘人数
    release_date = data_info[-1].replace('发布', '')     # 发布日期
    all_info_list = selector.css('div.tCompany_main > div:nth-child(1) > div p span::text').getall()
    all_info = '\n'.join(all_info_list)
    dit = {
        '标题': title,
        '地区': area,
        '工作经验': work_experience,
        '学历': educational_background,
        '薪资': salary,
        '福利': welfare_info,
        '招聘人数': number_of_people,
        '发布日期': release_date,
    }
    csv_writer.writerow(dit)
    with open('招聘信息.txt', mode='a', encoding='utf-8') as f:
        f.write(all_info)

![86fe6040632f1f7dd8d12de9b908e3a4.png][]

![c250bb3304dc5f935acf341f05e2ae87.png][]

以上步骤即可完成关于招聘的相关数据爬取。

**简单粗略的数据清洗**

*  薪资待遇

content = pd.read_csv(r'D:\python\demo\数据分析\招聘\招聘.csv', encoding='utf-8')
    salary = content['薪资']
    salary_1 = salary[salary.notnull()]
    salary_count = pd.value_counts(salary_1)

![e0c00d62c2658e47ad439c1590b8d5a6.png][]

![afe04dae93f44a2200ad5d3d2c1dfcc3.png][]

*  学历要求

content = pd.read_csv(r'D:\python\demo\数据分析\招聘\招聘.csv', encoding='utf-8')
    educational_background = content['学历']
    educational_background_1 = educational_background[educational_background.notnull()]
    educational_background_count = pd.value_counts(educational_background_1).head()
    print(educational_background_count)
    bar = Bar()
    bar.add_xaxis(educational_background_count.index.tolist())
    bar.add_yaxis("学历", educational_background_count.values.tolist())
    bar.render('bar.html')

![941d45d33774092a8702791e9881dc98.png][]

显示招聘人数为无要求

*  工作经验

content = pd.read_csv(r'D:\python\demo\数据分析\招聘\招聘.csv', encoding='utf-8')
    work_experience = content['工作经验']
    work_experience_count = pd.value_counts(work_experience)
    print(work_experience_count)
    bar = Bar()
    bar.add_xaxis(work_experience_count.index.tolist())
    bar.add_yaxis("经验要求", work_experience_count.values.tolist())
    bar.render('bar.html')

![104a2fe459ee2b626d389539075631a3.png][]

**词云分析，技术点要求**

py = imageio.imread("python.png")
    f = open('python招聘信息.txt', encoding='utf-8')
    
    re_txt = f.read()
    result = re.findall(r'[a-zA-Z]+', re_txt)
    txt = ' '.join(result)
    
    # jiabe 分词 分割词汇
    txt_list = jieba.lcut(txt)
    string = ' '.join(txt_list)
    # 词云图设置
    wc = wordcloud.WordCloud(
            width=1000,         # 图片的宽
            height=700,         # 图片的高
            background_color='white',   # 图片背景颜色
            font_path='msyh.ttc',    # 词云字体
            mask=py,     # 所使用的词云图片
            scale=15,
            stopwords={' '},
            # contour_width=5,
            # contour_color='red'  # 轮廓颜色
    )
    # 给词云输入文字
    wc.generate(string)
    # 词云图保存图片地址
    wc.to_file(r'python招聘信息.png')

![652e5878b3bfffdb4a6afff53f78f038.png][]

**总结：**

数据分析是真的粗糙，属实辣眼睛~

[1d5999491307aa0207f5dca00d778afc.png]: /images/20221120/6d328adee8404d1c9e72947b430fb8e0.png
[4ec23cf9c049836733005278192781b3.png]: /images/20221120/b891f7e368a64a608a58d823bfb795c8.png
[4ff86772cf02b544a1dac20fe9f70d84.png]: /images/20221120/fb819a773b8b45719196535ae76d0912.png
[a2d7ddc01780865ad9fb5db2557efca5.png]: /images/20221120/54fd456f56f84cddbcb199b7762aef8f.png
[86fe6040632f1f7dd8d12de9b908e3a4.png]: /images/20221120/fd119e79be3d4617b4bcadcf8e35a4fd.png
[c250bb3304dc5f935acf341f05e2ae87.png]: /images/20221120/1ec03d15435f46108d3bc843d7eb754a.png
[e0c00d62c2658e47ad439c1590b8d5a6.png]: /images/20221120/57f448c4cdbe4415b16f2269e0fc11b3.png
[afe04dae93f44a2200ad5d3d2c1dfcc3.png]: /images/20221120/1ff8a23a589a463db6f1b677d44f0ded.png
[941d45d33774092a8702791e9881dc98.png]: /images/20221120/3493f77a2991476e9dda66d87afff177.png
[104a2fe459ee2b626d389539075631a3.png]: https://img-blog.csdnimg.cn/img_convert/104a2fe459ee2b626d389539075631a3.png
[652e5878b3bfffdb4a6afff53f78f038.png]: https://img-blog.csdnimg.cn/img_convert/652e5878b3bfffdb4a6afff53f78f038.png