2020.10月最新最简单的51job爬虫爬取岗位信息

蔚落 2022-12-18 10:57 277阅读 0赞

用requests、正则表达、Json爬取51job职位信息

运行过程及结果如图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDA2NjEz_size_16_color_FFFFFF_t_70][]

源代码：

import requests
    import re
    import json
    
    
    def get_html(url):
        #设置请求头
        heade = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
        #获取html内容
        res = requests.get(url,headers = heade)
        #正则表达式匹配找到相关信息岗位信息
        result = re.findall("window.__SEARCH_RESULT__(.*?)</script>",res.text)
        #岗位信息转化为json格式
        txt = json.loads(result[0][2:])
        #循环输出职位信息（职位名，公司名，工资，相关信息）
        for i in txt['engine_search_result']:
           print(i['job_name'],i['company_name'],i['providesalary_text'],i['attribute_text'])
           
    
    
    if __name__ == '__main__':
        name = input("请输入爬取的职位：")
        pages = int(input("请输入爬取页数："))
        url = 'https://search.51job.com/list/010000,000000,0000,00,9,99,'
        #拼接html岗位名信息
        url = url+name+',2,'
        for i in range(1,pages+1):
            #拼接html页码信息
            url = url+str(i)+'.html'
            #运行爬虫
            get_html(url)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDA2NjEz_size_16_color_FFFFFF_t_70]: /images/20221122/9e4e3c3aa0b943b69d83aa65ed83cc09.png

发表评论取消回复

表情：

评论列表（有 0 条评论，277人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬虫爬取wallpapers最新壁纸

python爬虫爬取wallpapers最新壁纸详细教程请访问：[https://www.bilibili.com/video/av58978561/][https_ww

淡淡的烟草味﹌/ 2024年02月19日 20:42/ 0 赞/ 78 阅读

相关 2020.10月最新最简单的51job爬虫爬取岗位信息

用requests、正则表达、Json爬取51job职位信息运行过程及结果如图： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_

蔚落/ 2022年12月18日 10:57/ 0 赞/ 278 阅读

相关 Selenium&Chrome实战:动态爬取51job招聘信息

一、概述 Selenium自动化测试工具，可模拟用户输入,选择,提交。爬虫实现的功能: 1. 输入python,选择地点:上海,北京 ---->就去爬取上海,北京

逃离我推掉我的手/ 2022年12月10日 10:27/ 0 赞/ 447 阅读

相关 Python爬取51job招聘信息

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以加点击下方链接

谁践踏了优雅/ 2022年12月07日 15:08/ 0 赞/ 317 阅读

相关爬取51job的职位信息

\!/usr/bin/python \encoding:utf-8 \网站---源代码---python信息---匹配findall---写入文件 import urll

喜欢ヅ旅行/ 2022年06月07日 02:54/ 0 赞/ 338 阅读

相关爬虫爬取51job python职位相关信息

分析如下: > 1.(深圳)搜索页: > https://search.51job.com/list/040000,000000,0000,00,

本是古典何须时尚/ 2022年05月13日 00:52/ 0 赞/ 374 阅读

相关 python 爬虫爬取小说信息

1.进入小说主页（以下示例是我在网上随便找的一片小说），获取该小说的名称、作者以及相关描述信息 2.获取该小说的所有章节列表信息（最重要的是每个章节的链接地址href） 3

桃扇骨/ 2022年04月02日 11:42/ 0 赞/ 561 阅读

相关案例分析-爬虫（51job网站的信息）

爬虫案例爬虫介绍技术说明 jsoup使用介绍代码实现需求数据封装爬取数据番外篇（

r囧r小猫/ 2022年03月27日 07:54/ 0 赞/ 325 阅读

相关 Python爬虫--爬取最好大学网学校信息

欢迎参观我的个人博客：[L'ZXX\_Blog][L_ZXX_Blog] 首先给出网址： [最好大学网][Link 1] 1.我们先来看网站信息： ![water

深碍√TFBOYSˉ_/ 2022年02月12日 11:31/ 0 赞/ 448 阅读

相关 java爬取前程无忧(51job)

什么是Jsoup jsoup是一款优秀的Java的HTML解析器，主要用来对HTML解析，就是dom的操作,有很多和js方法一样,如getElementById，sele

待我称王封你为后i/ 2021年12月14日 05:41/ 0 赞/ 392 阅读