【Python】基于python的urllib库编写网络爬虫

「爱情、让人受尽委屈。」 2022-06-12 00:00 220阅读 0赞

## 1.前言 ##

基于python的urllib库编写爬虫爬取前程无忧招聘网站的招聘数据。

## 2.python代码 ##

#coding:utf-8
    import urllib,re
    import sys
    reload(sys)
    sys.setdefaultencoding('utf-8') #输出的内容是utf-8格式
    
    #打开网址,获取源码
    def get_content(page):
        url = 'http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=000000%2C00&district=000000&funtype=0000&industrytype=00&issuedate=9&providesalary=99&keyword=python&keywordtype=2&curr_page=2&lang=c&stype=1&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord_field=0&list_type=0&fromType=14&dibiaoid=0&confirmdate=9'.format(page)
        a = urllib.urlopen(url) #打开网址
        html = a.read() #读取源代码
        html = html.decode('gbk') #从gbk转为unicode
        #print html
        return html
    
    #匹配到正文
    def get(html):
        reg = re.compile(r'class="t1 ">.*?<a target="_blank" title="(.*?)".*?<span class="t2"><a target="_blank" title="(.*?)".*?<span class="t3">(.*?)</span>.*?<span class="t4">(.*?)</span>.*?<span class="t5">(.*?)</span>',re.S)
        items = re.findall(reg,html)
        print items #列表list
        return items
    
    #多页,写入文件
    for j in range(1,6):
        html = get_content(j) #调用获取源码
        for i in get(html):
            print i[0],i[1],i[2],i[3]
            with open('python.txt','a') as f:
                f.write(i[0]+'\t'+i[1]+'\t'+i[2]+'\t'+i[3]+'\n\n')

发表评论取消回复

表情：

评论列表（有 0 条评论，220人围观）

还没有评论，来说两句吧...

相关阅读

相关 06-第一个python爬虫库urllib

终于要开始写爬虫代码了我们首先了解一下 Urllib 库，它是 Python 内置的 HTTP 请求库，也就是说我们不需要额外安装即可使用，它包含四个模块：第一个

骑猪看日落/ 2022年12月18日 15:55/ 0 赞/ 205 阅读

相关 06-python爬虫库urllib，开始编写python爬虫代码

终于要开始写爬虫代码了我们首先了解一下 Urllib 库，它是 Python 内置的 HTTP 请求库，也就是说我们不需要额外安装即可使用，它包含四个模块：第一个

Myth丶恋晨/ 2022年12月09日 05:00/ 0 赞/ 222 阅读

相关【Python爬虫】哇！又来一个强大的Python网络库：Urllib3

在Python程序中，使用频率最高的网络模块莫过于urllib，由于urllib是Python内置的网络模块，不需要单独安装，使用起来非常方便。但随着互联网的不断发展，urll

悠悠/ 2022年11月08日 14:27/ 0 赞/ 244 阅读

相关 python爬虫 - Urllib库及cookie的使用

http://[blog.csdn.net/pipisorry/article/details/47905781][blog.csdn.net_pipisorry_articl

悠悠/ 2022年08月04日 10:51/ 0 赞/ 224 阅读

相关【Python】基于python的urllib库编写网络爬虫

1.前言基于python的urllib库编写爬虫爬取前程无忧招聘网站的招聘数据。 2.python代码 coding:utf-8 import

「爱情、让人受尽委屈。」/ 2022年06月12日 00:00/ 0 赞/ 221 阅读

相关 Python网络爬虫笔记（5）urllib2库的基本使用

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。在Python中有很多库可以用来抓取网页，我们先学习`urllib2`。 > urllib2

超、凢脫俗/ 2022年05月27日 06:58/ 0 赞/ 217 阅读

相关【Python爬虫】requests与urllib库的区别

我们在使用python爬虫时，需要模拟发起网络请求，主要用到的库有requests库和python内置的urllib库，一般建议使用requests，它是对urllib的再次封

曾经终败给现在/ 2022年04月01日 11:19/ 0 赞/ 418 阅读

相关 Python之urllib爬虫

爬虫案例如下：在豆瓣上爬取喜剧的前20条数据引入urllib import urllib import urllib.request fro

偏执的太偏执、/ 2022年03月25日 04:26/ 0 赞/ 283 阅读

相关 python爬虫的urllib2库的使用

环境： python2 备注：在python2中叫做urllib2，在python3中使用的是urllib.request，和前面urllib2的使用方法一样的 1----

末蓝、/ 2021年10月14日 01:52/ 0 赞/ 415 阅读

相关基于python的网络爬虫

基于python的网络爬虫，爬取新闻网站内容。 import re import time from html.parser import HTMLP

水深无声/ 2021年09月15日 13:32/ 0 赞/ 349 阅读