requests 库（发送 http 请求）基本使用指南

ゝ一世哀愁。 2024-02-20 10:21 39阅读 0赞

## 概述 ##

requests 是一个 Python 第三方库，用于发送 HTTP 请求。它提供了一种简单和方便的方法来与 Web 服务进行交互，如获取网页内容、发送数据、处理 Cookie 等。

*  requests 是 用 python 语言编写的，比 urllib2 模块更简洁
 *  requests 支持 HTTP 连接保持和连接池，支持使用 cookie 保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL 和 POST 数据自动编码。
 *  在 python 内置模块的基础上进行了高度的封装，从而使得 python 进行网络请求时，变得人性化，使用 Requests 可以轻而易举的完成浏览器可有的任何操作。
 *  requests 会自动实现持久连接 keep-alive

## requests 常用 API ##

### 常用方法 ###

*  **request()** ：构造一个请求，支持 GET、POST、PUT、DELETE 等方式，返回一个 Response 对象
    
    第一个参数默认为 method，第二个参数默认为 url
 *  **get()** ：发送 Get 请求，返回一个 Response 对象
    
    第一个参数均默认为 url
    
        # 发送GET请求并获取响应内容
        response = requests.get("https://www.example.com")
        # 发送带参数的GET请求。字典传递参数，如果值为None的键不会被添加到url中
        params = {
              'key1': 'value1', 'key2': 'value2'}
        response = requests.get("https://www.example.com", params=params)
 *  **post()** ：发送 Post 请求，返回一个 Response 对象
    
    第一个参数均默认为 url
    
        import requests
        import json
        
        # 发送POST请求并传递数据
        data = {
              'key1': 'value1', 'key2': 'value2'}
        response = requests.post("https://www.example.com", data=data)
        # 发送JSON数据
        headers = {
              'Content-Type': 'application/json'}
        response = requests.post("https://www.example.com", data=json.dumps(data), headers=headers)
 *  **Session()** ：获取会话对象。能够跨请求保持某些参数
    
    requests.get() 或 requests.post() 等都是一次性请求，如果需要传参 cookies 或 headers，则每次请求都需要传参。
    
    如果使用 session 来发起请求，session 实例在请求了一个网站后，对方服务器设置在本地的 cookie 会自动保存在 session 对象中，下一次再使用 session 请求对方服务器的时候，会直接带上前一次的 cookie，从而实现回话保持。
    
        session = requests.Session()  # cookies或者session或者token保存于session对象中
        session.auth = ('auth','passwd')
        session.headers = {
              'key':'value'}
        response = session.get('url')

### 方法常用参数 ###

*  **url** ：请求地址。发送请求方法的第一个参数均默认为 url
 *  **data** ：设置请求体，格式默认为字典
 *  **params**：设置查询参数字典
 *  **headers**：设置请求体，格式为字典
 *  **timeout** ：设置秒数超时，仅对于连接有效
    
    一旦超过这个时间还没获得响应内容，就会提示错误（需要异常处理）
    
        try:
        	res = requests.get(url = 'url'，timeout=1)
        except exceptions.Timeout as e:
            print(e)
        except exceptions.HTTPError as e:
            print(e)
 *  **cookies** ：设置 cookies
 *  **proxies** ：设置访问代理。通过代理可设置抓包
    
        proxies = requests.get('url', proxies={
              'http':'[协议:]ip1:端口','https':'[协议:]ip2:端口'})
        
        # 如果代理需要用户名和密码，则需要这样：
        proxies = {
              "http": "http://user:password@ip:端口", }
 *  **files** ：设置文件发送
    
        files = {
              'file': open('report.xls', 'rb')}
        #files = {'file': ('report.jpg', open('report.xls', 'rb'))}     # 显式的设置文件名
        r = requests.post('http://m.ctrip.com', files=files)
 *  **auth** ：设置身份验证
    
        import requests
        from requests.auth import HTTPBasicAuth
         
        resp = requests.get('url', auth=HTTPBasicAuth('user', 'passwd'))
        #resp = requests.get('url', auth=('user', 'passwd'))    # 简写
        #resp = requests.get(URL, auth=HTTPDigestAuth('user', 'pass')	# 摘要式身份认证

## requests.Response 常用 API ##

*  **常用属性：**
    
     *  **encoding** ：获取当前的编码
     *  **encoding = ‘utf-8’** ：设置编码
     *  **text** ：以 encoding 的编码解析返回内容。字符串方式的响应体，会自动根据响应头部的字符编码进行解码。
     *  **content** ：以字节形式（二进制）返回。字节方式的响应体，会自动解码 gzip 和 deflate 压缩。
     *  **headers** ：以字典对象存储服务器响应头，但是这个字典比较特殊，字典键不区分大小写，若键不存在则返回 None
     *  **status\_code** ：响应状态码
     *  **raw** ：返回原始响应体，也就是 urllib 的 response 对象，使用 response .raw.read()
     *  **ok** ：布尔值，查看 http 请求是否成功（状态码：200）
     *  **cookies** ：cookie 信息
     *  **history** ：返回重定向信息
        
        注：可以在请求时加上 allow\_redirects = false 阻止重定向
 *  **特殊方法：**
    
     *  **json()** ：Requests 中内置的 JSON 解码器，以 json 形式返回
        
        前提返回的内容确保是 json 格式的，不然解析出错会抛异常
     *  **raise\_for\_status()** ：失败请求（非 200 响应）抛出异常

## 拓展 ##

### 发送 https 请求并忽略 SSL 证书校验 ###

**https 和 SSL 证书介绍**

*  HTTPS（HyperText Transfer Protocol Secure）是一种安全的超文本传输协议，它结合了 HTTP 协议和 SSL/TLS 协议。HTTPS 使用 SSL（Secure Sockets Layer）或 TLS（Transport Layer Security）协议来加密和保护通信数据的传输。SSL 和 TLS 用于建立加密连接，保护数据传输的安全性和完整性。
 *  HTTPS 和 SSL 证书的关系及工作流程：
    
    1.  建立安全连接： 客户端发起 HTTPS 请求时，客户端和服务器首先建立一个安全连接。
    2.  握手过程： 这个连接的建立通过 SSL/TLS 握手过程实现。在这个过程中，服务器将自己的 SSL 证书发送给客户端。
    3.  证书验证： 客户端收到服务器的 SSL 证书后，会验证证书的有效性，包括验证证书的签名是否有效，是否过期，是否与请求的域名匹配等。
    4.  密钥交换： 客户端和服务器通过 SSL/TLS 握手过程协商加密算法和密钥，以建立一个加密通道。
    5.  加密通信： 一旦加密通道建立，客户端和服务器之间的数据传输将通过选定的加密算法加密，确保通信的安全性。
    
    SSL 证书在这个过程中起到关键作用，它用于验证服务器的身份，并确定加密通道的加密参数。服务器的 SSL 证书由受信任的第三方机构（CA）签发，客户端通过信任这些 CA 来验证服务器的身份。
    
    要实现 HTTPS 通信，需要向一个受信任的 CA 申请 SSL 证书，并将其安装到服务器上。当客户端通过 HTTPS 请求网站时，它们会验证服务器的 SSL 证书，并确保连接是安全的。

**requests 发送 https 请求并忽略 SSL 证书校验**

*  在某些情况下，可能需要在使用 `requests` 发送 HTTPS 请求时忽略 SSL 证书验证，例如在测试环境或自签名证书的情况下。
    
    可以通过设置 `verify` 参数为 `False` 来实现忽略 SSL 证书验证。
    
    **注意：**
    
     *  即使在使用 `requests` 发送请求时将 `verify` 参数设置为 `False`，仍然会进行 SSL/TLS 握手。
        
        `verify=False` 只是告诉 `requests` 跳过 SSL 证书验证，而不会禁止 SSL/TLS 握手过程。
     *  SSL/TLS 握手是建立安全连接的关键步骤，它用于协商加密算法、密钥交换和建立加密通道。
        
        即使不验证服务器的 SSL 证书（使用 `verify=False`），仍然需要进行 SSL/TLS 握手以确保通信的安全性。
     *  使用 `verify=False` 时，SSL/TLS 握手过程会进行，但在握手过程中会跳过对服务器 SSL 证书的验证。这意味着即使服务器的证书无效或过期，握手也会继续进行，但连接可能不安全，因为无法保证正在连接到正确的服务器。
     *  如果想完全跳过 SSL/TLS 握手，而不建立安全连接，可以考虑直接使用普通的 HTTP 连接，而不是 HTTPS。
        
        但这样会使通信不安全，不推荐在生产环境中使用。如果需要安全连接，建议使用合法有效的 SSL 证书，并允许 SSL/TLS 握手过程来确保连接的安全性。
 *  **\[SSL: DH\_KEY\_TOO\_SMALL\] dh key too small 报错**：
    
    SSL/TLS 握手过程中可能会出现 DH（即 Diffie-Hellman，密钥交换协议/算法）密钥长度过小的问题。这通常是由于使用过小的 DH 密钥长度或不安全的DH密钥交换算法导致的。
    
    在新的 SSL/TLS 标准中，强制要求使用安全的密钥长度和加密算法，以确保通信的安全性。一些旧的、不安全的加密算法或密钥长度会被标记为不安全，因此会导致类似的错误。
    
    \*\*解决方案：\*\*在请求中设置合适的 ciphers 来排除 DH 密钥长度过小的加密套件。但这并不是安全的解决办法，因为它会降低通信的安全性。
    
     *  **方式1：使用 ssl\_default\_context 指定允许的加密算法**
        
            import requests
            import ssl
            
            url = 'https://example.com'  # 替换为你要请求的 HTTPS URL
            # 禁用 SSL 校验
            ssl_context = ssl.create_default_context()
            ssl_context.check_hostname = False
            ssl_context.verify_mode = ssl.CERT_NONE
            # 指定允许的加密算法
            ciphers = 'HIGH:!DH:!aNULL'
            ssl_context.set_ciphers(ciphers)
            # 忽略警告
            urllib3.disable_warnings()
            # 发送 HTTPS 请求
            response = requests.get(url, verify=ssl_context)
     *  **方式2：使用 requests.packages.urllib3 包指定允许的加密算法**
        
        可以使用 requests.packages.urllib3 包来处理与 SSL 相关的功能。在这种情况下，可以使用 DEFAULT\_CIPHERS 常量来设置默认的加密算法。
        
        注意：requests.packages.urllib3 静态编译可能会显示找不到，忽略即可，因为其可能是动态加载的
        
            import requests
            
            url = 'https://example.com'  # 替换为你要请求的 HTTPS URL
            # 设置默认加密算法为 HIGH:!DH:!aNULL。
            requests.packages.urllib3.util.ssl_.DEFAULT_CIPHERS += ':HIGH:!DH:!aNULL'
            # 忽略警告
            requests.packages.urllib3.disable_warnings()
            # 发送 HTTPS 请求
            response = requests.get(url, verify=False)