拉勾网Python岗位爬取

妖狐艹你老母 2022-05-13 09:10 478阅读 0赞

## 具体流程都在我写的注释中,完整代码如下: ##

import time
    from selenium import webdriver
    
    
    class LagouSpider(object):
        def __init__(self):
            # 准备 start_url
            self.start_url = "https://www.lagou.com/jobs/list_Python?labelWords=&fromSearch=true&suginput="
            self.drive = webdriver.Firefox()
    
            # 发送请求,获取响应
            self.drive.get(self.start_url)
    
        def get_position_link(self):
            """获取所有职位对应的链接"""
            time.sleep(3)
            # 得到当前页面的所有职位中包含链接的节点对象
            position_links = self.drive.find_elements_by_xpath('//a[@class="position_link"]')
    
            return position_links
    
        def get_position_info(self, position_links):
            """获取每个职位的相关信息"""
    
            # 通过每一个节点对象获取href的属性值
            # 定义一个列表存储链接信息
            position_links_list = []
    
            for i in position_links:
                position_link = i.get_attribute('href')
                position_links_list.append(position_link)
    
    
            for link in position_links_list:
                # 发起请求
                self.drive.get(link)
                time.sleep(5)
    
                # 定义一个字典保存当前房间的所有信息
                item = {}
    
                # 由于网络的原因,加上等待时间还不够的,会出现问题匹配不带,就跳过这条  ,网速快的可以忽略
                try:
                    # 职位名称
                    item['职位'] = self.drive.find_element_by_xpath('//span[@class="name"]').text
                    # 公司名
                    item['公司名'] = self.drive.find_element_by_xpath('//div[@class="company"]').text
                    # 工资
                    item['工资'] = self.drive.find_element_by_xpath('//span[@class="salary"]').text
                    # 工资经验
                    item["工资经验"] = self.drive.find_element_by_xpath('//dd[@class="job_request"]/p[1]/span[3]').text
                    # 学历要求
                    item["学历要求"] = self.drive.find_element_by_xpath('//dd[@class="job_request"]/p[1]/span[4]').text
                    # 发布时间
                    item["发布时间"] = self.drive.find_element_by_xpath('//p[@class="publish_time"]').text
    
                    item['分割线'] = '-' * 30
                    # print(item)
    
                    # 爬完一条保存一条
                    self.save_content_list(item)
    
                except:
                    pass
    
            # 将当前页面的所有职位获取完后,回到首页
            self.drive.get(self.start_url)
    
            # 获取下一页按钮节点
            next_url = self.drive.find_elements_by_xpath('//span[@class="pager_next "]')
    
            # 可能到达最后一页,为了防止报错,判断一下
            next_url = next_url[0] if len(next_url) > 0 else None
            return next_url
    
        def save_content_list(self, item):
            for i in item:
                with open('lagou.txt', 'a', encoding='utf8') as f:
                    f.write(item[i] + '\n')
    
        def run(self):
            """实现主要逻辑"""
            # 获取当前页面所有职位信息的链接
            position_links = self.get_position_link()
    
            # 获取每个职位的相关信息
            next_url = self.get_position_info(position_links)
    
            # 点击下一页元素,循环
            while next_url is not None:
                next_url.click()
    
                # 由于我这网速慢 每次点击下一页之后停留三秒,保证页面更新完整
                time.sleep(3)
    
                # 获取当前页面所有职位信息的链接
                position_links = self.get_position_link()
    
                # 获取每个职位的相关信息
                next_url = self.get_position_info(position_links)
    
    
    #
    if __name__ == '__main__':
        lagou_spider = LagouSpider()
        lagou_spider.run()

## 爬取结果: ##

![70][]

**如果你和我有共同爱好,我们可以加个好友一起交流!**

**![1445380-20180903211901788-1752749014.png][]**

[70]: /images/20220513/9237bcb7f92e4921a41e10b1b2f3e619.png
[1445380-20180903211901788-1752749014.png]: /images/20220513/b3374567df7c4ce7bd323856e4a17ee5.png