Python urllib与urllib2

快来打我* 2021-12-20 08:43 315阅读 0赞

Python中包含了两个网络模块，分别是urllib与urllib2，urllib2是urllib的升级版，拥有更强大的功能。urllib，让我们可以像读文件一样，读取http与ftp。而urllib2，则在urllib的基础上，提供了更多的接口，如cookie、代理、认证等更强大的功能。

urllib常用函数:

1、urllib.urlopen(url\[, data\[, proxies\]\]):   打开一个网址，并返回一个类似于文件的对象，对于该对对象，我们可以执行以下操作。

*   *   *  　 read() , readline() , readlines() , fileno() , close() ：这些方法的使用方式与文件对象完全一样;
         *      info()：       返回一个httplib.HTTPMessage 对象，表示远程服务器返回的头信息；
         *      getcode()： 返回Http状态码。如果是http请求，200表示请求成功完成;404表示网址未找到；
         *      geturl()：    返回请求的url；

参数中的data，表示以post方式提交到web的参数，proxies用于设置代理，这两个参数很少用到。

2、urllib.urlretrieve(url\[, filename\[, reporthook\[, data\]\]\]):  将远程数据下载到本地。url，是网址，filename表示的是本地路径，用于存放下载的数据，reporthook，是一个回调函数，当连接到服务器时，或者获得数据时，将调用该函数，data，用于post的数据。

3、urlcleanup（）清除urlretrieve函数的缓存。

4、urllib中的一些字符编码的辅助函数

*   *   *  urllib.quote(string\[, safe\])：  对字符串进行编码。参数safe指定了不需要编码的字符;
         *  urllib.unquote(string) ：       对字符串进行解码；
         *  urllib.quote\_plus(string \[ , safe \] ) ：  与urllib.quote类似，但这个方法用'+'来替换' '，而quote用'%20'来代替' '
         *  urllib.unquote\_plus(string ) ：     　　对字符串进行解码；
         *  urllib.urlencode(query\[, doseq\])：　　将dict或者包含两个元素的元组列表转换成url参数。例如 字典\{'name': 'dark-bull', 'age': 200\}将被转换为"name=dark-bull&age=200"
         *  urllib.pathname2url(path)：        　　 将本地路径转换成url路径；
         *  urllib.url2pathname(path)：         　　将url路径转换成本地路径

针对上面的一个样例：

1 # coding : UTF-8
     2 
     3 import urllib
     4 import re
     5 '''
     6 def getHtml(url):
     7     urlFile = urllib.urlopen(url)
     8     urllib.FancyURLopener
     9     print urlFile.getcode()
    10     return urlFile.read()
    11 
    12 def getJpg(html):
    13     reg = r'src="(http://.*?\.jpg)"'
    14     index = 0
    15     imgre = re.compile(reg)
    16     jpgs = re.findall(imgre, html)
    17     for x in jpgs:
    18         print "url = %s    %d.jpg\n" % (x, index)
    19         urllib.urlretrieve(x, "C:\Users\Hawk\Desktop\jpg\%d.jpg" % index)
    20         index = index + 1
    21 
    22 
    23 html = getHtml(r"http://image.baidu.com/")
    24 print "Game Over   "*3
    25 '''
    26 
    27 data = 'name = ~a+3'
    28 
    29 data1 = urllib.quote(data)
    30 print data1 # result: name%20%3D%20%7Ea%2B3
    31 print urllib.unquote(data1) # result: name = ~a+3
    32 
    33 data2 = urllib.quote_plus(data)
    34 print data2 # result: name+%3D+%7Ea%2B3
    35 print urllib.unquote_plus(data2)    # result: name = ~a+3
    36 
    37 data3 = urllib.urlencode({ 'name': 'dark-bull', 'age': 200 })
    38 print data3 # result: age=200&name=dark-bull
    39 
    40 data4 = urllib.pathname2url(r'd:/a/b/c/23.php')
    41 print data4 # result: ///D|/a/b/c/23.php
    42 print urllib.url2pathname(data4)    # result: D:/a/b/c/23.php

urllib2的常用函数：

1、urllib2.urlopen(*url\[, data\]\[, timeout\]*)与urllib的函数一样

2、urllib2.Request(*url\[, data\]\[, headers\]\[, origin\_req\_host\]\[, unverifiable\]*)，

url:是网址、文件路径、ftp路径

data：通过urllib.urlencode形成的字符串。

header:请求头

后两个参数：用于第三方的cookie，详情可参看官网。http://docs.python.org/2/library/urllib2.html\#urllib2.BaseHandler

转载于:https://www.cnblogs.com/wang-can/p/3591116.html