python网络爬虫之requests库

矫情吗；* 2022-06-01 02:20 299阅读 0赞

import requests

1、requests库有两个对象，Request对象和Response对象，下表是Response对象的属性

<table> 
 <tbody> 
  <tr> 
   <td>属性</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>r.status_code</td> 
   <td>HTTP请求的返回状态，200表示连接成功，404表示失败</td> 
  </tr> 
  <tr> 
   <td>r.text</td> 
   <td><span style="font-family:Arial, Verdana, sans-serif;font-size:14px;background-color:rgb(255,255,255);">HTTP响应内容的字符串形式，即，url对应的页面内容</span></td> 
  </tr> 
  <tr> 
   <td>r.enconding</td> 
   <td>从<span style="font-family:Arial, Verdana, sans-serif;font-size:14px;background-color:rgb(255,255,255);">HTTPheader中猜测的响应内容编码方式</span></td> 
  </tr> 
  <tr> 
   <td>r.apparent_encoding</td> 
   <td>从内容中分析出的响应内容编码方式（备选编码方式）</td> 
  </tr> 
  <tr> 
   <td>r.content</td> 
   <td><span style="font-family:Arial, Verdana, sans-serif;font-size:14px;background-color:rgb(255,255,255);">HTTP响应内容的二进制形式</span></td> 
  </tr> 
 </tbody> 
</table>

2、requests库异常

<table> 
 <tbody> 
  <tr> 
   <td>异常</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>requests.ConnectionError</td> 
   <td>网络连接错误异常，如DNS查询失败，拒绝连接</td> 
  </tr> 
  <tr> 
   <td><span style="font-family:Arial, Verdana, sans-serif;font-size:14px;background-color:rgb(255,255,255);">requests.HTTPError</span></td> 
   <td>HTTP错误异常</td> 
  </tr> 
  <tr> 
   <td><span style="font-family:Arial, Verdana, sans-serif;font-size:14px;background-color:rgb(255,255,255);">requests.URLRequired</span></td> 
   <td>URL缺失异常</td> 
  </tr> 
  <tr> 
   <td><span style="font-family:Arial, Verdana, sans-serif;font-size:14px;background-color:rgb(255,255,255);">requests.TooManyRedirects</span></td> 
   <td>超过最大重定向次数，产生重定向异常</td> 
  </tr> 
  <tr> 
   <td><span style="font-family:Arial, Verdana, sans-serif;font-size:14px;background-color:rgb(255,255,255);">requests.ConnectTimeout</span></td> 
   <td>连接远程服务器超时异常</td> 
  </tr> 
  <tr> 
   <td><span style="font-family:Arial, Verdana, sans-serif;font-size:14px;background-color:rgb(255,255,255);">requests.Timeout</span></td> 
   <td>请求URL超时，产生超时异常</td> 
  </tr> 
 </tbody> 
</table>

3、get()函数,获取html网页的主要方法，对应HTTP的GET,requests.get(url,params=None,\*\*kwargs) url是链接地址，params是url中的额外参数，字典或字节流格式，可选。\*\*kwargs，十二个控制访问的参数。

#通用爬取框架
    import requests
    
    def getHTMLText(url):
        try:
           r=requests.get(url,timeout=30)
           r.raise_for_status()#如果不是200，引发HTTPError异常
           r.encoding=r.apparent_encoding
           return r.text
        except:
            return "产生异常"

4、params字段：字典或字节序列，作为参数增加到url中，下面的例子可作为手工组成百度搜索的url

import requests
    payload = {'wd': '中国', 'rn': '100'}#wd是搜索词，rn是搜索结果数量
    r = requests.get("http://www.baidu.com/s", params=payload)

print一下的话，你会发现

>>> print(r.url)
    http://www.baidu.com/s?wd=%E4%B8%AD%E5%9B%BD&rn=100

5.模拟浏览器访问

import requests
    url="http://www.baidu.com"
    try:
        kv={'user-agent':'Mozilla/5.0'}
        r=requests.get(url,headers=kv)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        print(r.text[:1000])
    except:
        print("爬取失败")

6、爬取图片

import requests
    import os
    #爬取的图片是两头狼
    url="http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
    keyword='程序猿'
    root="E:/web_spider/"
    path=root+url.split('/')[-1]
    kv={'user-agent':'Mozilla/5.0'}
    kd={'wd':keyword}
    try:
        # r=requests.get(url,params=kd,headers=kv)
        if not os.path.exists(root):
            os.mkdir(root)
        if not os.path.exists(path):
            r=requests.get(url,headers=kv)
            r.raise_for_status()
            with open(path,'wb') as f:
                f.write(r.content)
                f.close()
                print("文件保存成功")
        else:
            print("文件已经存在")
    except:
        print("爬取失败")

注：参考资源来自中国大学mooc《Python网络爬虫与信息提取》