08—小白学Python爬虫之Requests高级特性

「爱情、让人受尽委屈。」 2022-05-28 02:49 170阅读 0赞

> 上篇文章介绍了Requests及基本使用，在掌握了基础后，那么本篇就来看一下Requests的一些高级特性。

### 高级使用 ###

#### 会话对象 ####

会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie， 期间使用 `urllib3` 的 `connection pooling` 功能。所以如果你向同一主机发送多个请求，底层的 TCP 连接将会被重用，从而带来显著的性能提升。

我们来跨请求保持一些 cookie:

def demo_session():
        s = requests.session()
        s.get('http://httpbin.org/cookies/set/sessioncookie/abcsd')
        r = s.get("http://httpbin.org/cookies")
        print(r.text)

输出为：

{
      "cookies": { "sessioncookie": "abcsd" } }

会话也可用来为请求方法提供缺省数据。这是通过为会话对象的属性提供数据来实现的：

s = requests.Session()
    s.auth = ('user', 'pass')
    s.headers.update({
       'x-test': 'true'})
    
    # 'x-test' and 'x-test2' 都会被作为header参数发送出去
    s.get('http://httpbin.org/headers', headers={
       'x-test2': 'true'})

任何你传递给请求方法的字典都会与已设置会话层数据合并。方法层的参数覆盖会话的参数。

不过需要注意，就算使用了会话，方法级别的参数也不会被跨请求保持。下面的例子只会和第一个请求发送 cookie ，而非第二个：

s = requests.Session()
    
    r = s.get('http://httpbin.org/cookies', cookies={
       'from-my': 'browser'})
    print(r.text)
    # '{"cookies": {"from-my": "browser"}}'
    
    r = s.get('http://httpbin.org/cookies')
    print(r.text)
    # '{"cookies": {}}'

如果你要手动为会话添加 `cookie`，就使用`Cookie utility` 函数 来操纵 `Session.cookies`。

会话还可以用作前后文管理器：

with requests.Session() as s:
        s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')

这样就能确保 with 区块退出后会话能被关闭，即使发生了异常也一样。

#### 请求与响应 ####

只要做了类似 requests.get() 的操作，其实主要做了两件事。其一，你在构建一个 Request 对象， 该对象将被发送到某个服务器请求或查询一些资源。其二，一旦 requests 得到一个从服务器返回的响应就会产生一个 Response 对象。该响应对象包含服务器返回的所有信息，也包含你原来创建的 Request 对象。

def demo_req_resp():
        url = 'http://www.baidu.com'
        resp = requests.get(url)
        # 响应头部信息
        print(resp.headers)
        print('*' * 50)
        # 请求头信息
        print(resp.request.headers)

输出结果为：

{
       'Server': 'bfe/1.0.8.18', 'Date': 'Tue, 27 Mar 2018 12:27:22 GMT', 'Content-Type': 'text/html', 'Last-Modified': 'Mon, 23 Jan 2017 13:27:36 GMT', 'Transfer-Encoding': 'chunked', 'Connection': 'Keep-Alive', 'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Pragma': 'no-cache', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Content-Encoding': 'gzip'}
    **************************************************
    {
       'User-Agent': 'python-requests/2.18.4', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

#### SSL证书验证 ####

Requests 可以为 HTTPS 请求验证 SSL 证书，就像 web 浏览器一样。SSL 验证默认是开启的，如果证书验证失败，Requests 会抛出 SSLError。

##### 验证方式一 #####

def demo_ssl():
        url = 'https://www.12306.cn'
        resp = requests.get(url)
        print(resp.status_code)

输出为：

Traceback (most recent call last):
    
    During handling of the above exception, another exception occurred:
    
    Traceback (most recent call last):
      File "/Users/***/Project/PycharmProjects/crawler/01-base/05-requests/02-advance-demo.py", line 33, in <module>
        main()
      File "/Users/***/Project/PycharmProjects/crawler/01-base/05-requests/02-advance-demo.py", line 5, in main
        demo_ssl()
      File "/Users/***/Project/PycharmProjects/crawler/01-base/05-requests/02-advance-demo.py", line 10, in demo_ssl
        resp = requests.get(url)
      File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/api.py", line 72, in get
        return request('get', url, params=params, **kwargs)
      File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/api.py", line 58, in request
        return session.request(method=method, url=url, **kwargs)
      File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/sessions.py", line 508, in request
        resp = self.send(prep, **send_kwargs)
      File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/sessions.py", line 618, in send
        r = adapter.send(request, **kwargs)
      File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/adapters.py", line 506, in send
        raise SSLError(e, request=request)
    requests.exceptions.SSLError: HTTPSConnectionPool(host='www.12306.cn', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:749)'),))

默认情况下， verify 是设置为 True 的。选项 verify 仅应用于主机证书。为了避免这种错误，可以将SSL验证设置为false。

def demo_ssl():
        url = 'https://www.12306.cn'
        resp = requests.get(url, verify=False)
        print(resp.status_code)

输出为：

/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/urllib3/connectionpool.py:858: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
      InsecureRequestWarning)
    200

这样，可以看到请求失败，但是会报一个`InsecureRequestWarning: Unverified HTTPS request is being made.`的警告，不过可以通过设置取消警告信息。

from requests.packages import urllib3
    def demo_ssl():
        urllib3.disable_warnings()
        url = 'https://www.12306.cn'
        resp = requests.get(url, verify=False)
        print(resp.status_code)

输出为：

200

这样就不会再显示警告信息了。

##### 验证方式二 #####

另外，可以为`verify` 传入 `CA_BUNDLE` 文件的路径，或者包含可信任 `CA`证书文件的文件夹路径：

requests.get('https://www.12306.cn', verify='/path/to/certfile')

或者将其保持在会话中

s = requests.Session()
    s.verify = '/path/to/certfile'

如果 verify 设为文件夹路径，文件夹必须通过 OpenSSL 提供的 c\_rehash 工具处理。

#### 客户端证书 ####

你也可以指定一个本地证书用作客户端证书，可以是单个文件（包含密钥和证书）或一个包含两个文件路径的元组：

>>> requests.get('https://kennethreitz.org', cert=('/path/client.cert', '/path/client.key'))
    <Response [200]>

或者保持在会话中：

s = requests.Session()
    s.cert = '/path/client.cert'

如果你指定了一个错误路径或一个无效的证书:

>>> requests.get('https://kennethreitz.org', cert='/wrong_path/client.pem')
    SSLError: [Errno 336265225] _ssl.c:347: error:140B0009:SSL routines:SSL_CTX_use_PrivateKey_file:PEM lib

本地证书的私有 key 必须是解密状态。目前，Requests 不支持使用加密的 key。

#### CA证书 ####

Requests 默认附带了一套它信任的根证书，来自于 `Mozilla trust store`。然而它们在每次 Requests 更新时才会更新。这意味着如果你固定使用某一版本的 Requests，你的证书有可能已经 太旧了。

从 Requests 2.4.0 版之后，如果系统中装了 `certifi` 包，Requests 会试图使用它里边的 证书。这样用户就可以在不修改代码的情况下更新他们的可信任证书。

为了安全起见，建议经常更新 `certifi`！

#### 流式上传 ####

Requests支持流式上传，这允许你发送大的数据流或文件而无需先把它们读入内存。要使用流式上传，仅需为你的请求体提供一个类文件对象即可。

with open('massive-body') as f:
        requests.post('http://some.url/streamed', data=f)

强烈建议你用二进制模式（`binary mode`）打开文件。这是因为 requests 可能会为你提供 header 中的 `Content-Length`，在这种情况下该值会被设为文件的字节数。如果你用文本模式打开文件，就可能碰到错误。

#### POST 多文件上传 ####

你可以在一个请求中发送多个文件。例如，假设你要上传多个图像文件到一个 HTML 表单，使用一个多文件 field 叫做 “images”:

要实现，只要把文件设到一个元组的列表中，其中元组结构为 (`form_field_name`, `file_info`)：

>>> url = 'http://httpbin.org/post'
    >>> multiple_files = [
            ('images', ('foo.png', open('foo.png', 'rb'), 'image/png')),
            ('images', ('bar.png', open('bar.png', 'rb'), 'image/png'))]
    >>> r = requests.post(url, files=multiple_files)
    >>> r.text
    {
      ...
      'files': {
       'images': 'data:image/png;base64,iVBORw ....'}
      'Content-Type': 'multipart/form-data; boundary=3131623adb2043caaeb5538cc7aa0b3a',
      ...
    }

#### 代理 ####

##### 配置单个请求 #####

def demo_proxy():
        proxies = {
            "http": "http://10.10.1.10:3128",
            "https": "http://10.10.1.10:1080",
        }
        url = 'http://www.baidu.com'
        requests.get(url, proxies=proxies)

##### 通过环境变量配置 #####

$ export HTTP_PROXY="http://10.10.1.10:3128"
    $ export HTTPS_PROXY="http://10.10.1.10:1080"
    
    $ python
    >>> import requests
    >>> requests.get("http://example.org")

##### 代理认证 #####

若你的代理需要使用HTTP Basic Auth，可以使用 `http://user:password@host/` 语法：

proxies = {
            "http": "http://user:pwd@10.10.1.10:3128",
        }

##### 为某个特定的连接方式或者主机设置代理 #####

要为某个特定的连接方式或者主机设置代理，使用 `scheme://hostname` 作为 key， 它会针对指定的主机和连接方式进行匹配。

proxies = {
       'http://10.20.1.128': 'http://10.10.1.10:5323'}

[更多高级用法点我查阅文档][Link 1]

[Link 1]: http://docs.python-requests.org/zh_CN/latest/user/advanced.html#