【Python爬虫】一招搞定发送中文HTTP请求头

缺乏、安全感 2022-11-06 05:55 302阅读 0赞

有时需要将HTTP请求头的值设为中文，但如果直接设成中文，会抛出异常，例如，下面的代码为Chinese请求头设置了中文。

from urllib import request
    url = 'http://httpbin.org/post'
    headers = {
        'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36',
        'Host':'httpbin.org',
        'Chinese':'李宁',
    }
    req = request.Request(url = url,headers=headers,method="POST")
    request.urlopen(req)

执行这段代码，会抛出如下的异常。

UnicodeEncodeError: 'latin-1' codec can't encode characters in position 0-1: ordinal not in range(256)

这个异常表明HTTP请求头只能是英文字符和符号，不能是双字节的文字，如中文。为了解决这个问题，在设置HTTP请求头时需要将中文编码，然后发送到服务端后，在服务端用同样的规则解码。可以采用多种编码方式，例如url编码，base64编码，url编码就是在浏览器地址栏中如果输入中文，会将其转换为%xx的形式。如输入“中国”，会变成E4%B8%AD%E5%9B%BD。

对字符串url编码，需要使用urllib.parse模块的urlencode函数，解码要使用unquote函数，代码如下：

from urllib.parse import unquote,urlencode
    # 对中文进行编码
    value = urlencode({'name':'李宁'})
    print(value)
    # 对中文进行解码
    print(unquote(value))

执行这段代码，会输出如下结果：

name=%E6%9D%8E%E5%AE%81
    name=李宁

使用urlencode函数进行编码时，需要指定字典类型，不能直接对字符串进行编码。因为urlencode函数只能对url参数进行编码。

base64编码需要使用base64模块中的b64encode函数，解码使用b64decode函数，代码如下：

import base64
    # 对中文进行编码
    base64Value = base64.b64encode(bytes('Python从菜鸟到高手',encoding='utf-8'))
    print(str(base64Value,'utf-8'))
    # 对中文进行解码，并按utf-8编码格式将解码后的结果转换为字符串
    print(str(base64.b64decode(base64Value),'utf-8'))

b64encode函数编码后返回的是bytes类型，需要使用str函数将其转换为字符串类型。b64decode函数解码时需要指定bytes类型的值，b64decode函数的返回值也是bytes类型，所以也需要str函数将该函数的返回值转换为字符串。

下面的例子演示了设置中文HTTP请求头，并对其解码的完整过程。

from urllib import request
    from urllib.parse import unquote,urlencode
    import base64
    url = 'http://httpbin.org/post'
    headers = {
        'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36',
        'Host':'httpbin.org',
        'Chinese1':urlencode({'name':'李宁'}),  # 设置中文HTTP请求头，用url编码格式
        # 设置中文HTTP请求头，用base64编码格式
        'MyChinese':base64.b64encode(bytes('这是中文HTTP请求头',encoding='utf-8')),
        'who':'Python Scrapy'
    }
    dict = {
        'name':'Bill',
        'age':30
    }
    data = bytes(urlencode(dict),encoding='utf-8')
    req = request.Request(url = url,data=data,headers=headers,method="POST")
    # 通过add_header方法添加中文HTTP请求头，url编码格式
    req.add_header('Chinese2',urlencode({"国籍":"中国"}))
    response=request.urlopen(req)
    # 获取服务端的响应信息
    value = response.read().decode('utf-8')
    print(value)
    import json
    # 将返回值转换为json对象
    responseObj = json.loads(value)
    # 解码url编码格式的HTTP请求头
    print(unquote(responseObj['headers']['Chinese1']))
    # 解码url编码格式的HTTP请求头
    print(unquote(responseObj['headers']['Chinese2']))
    # 解码base64编码格式的HTTP请求头
    print(str(base64.b64decode(responseObj['headers']['Mychinese']),'utf-8'))

运行结果如图1所示。

![format_png][]

图1 设置中文HTTP请求头

\- EOF -

推荐阅读  点击标题可跳转

[Python爬虫实战：抓取博客文章列表][Python]

[卧槽，好强大的魔法，竟能让Python支持方法重载][Python 1]

[Python装饰器（decorator）不过如此，是我想多了][Python_decorator]

[这样合并Python字典，可以让程序的运行效率提高4倍][Python_4]

[Python代码可以加密吗？Python字节码告诉你！][Python_Python]

[看我用元类（metaclass）花式创建Python类][metaclass_Python]

[你不知道\_\_name\_\_变量是什么意思吗？][name]

[Python生成器（Generator）最完美解释][Python_Generator]

关注「极客起源」公众号，加星标，不错过精彩技术干货

![format_png 1][]

[format_png]: /images/20221023/e8798e7a64014dbf8c7213ebc2f4c3c2.png
[Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f218a1eb6377333d85d1719950f8ac4bf1d73bedb3d4af5450c326f2848561cbccc2c7b&idx=1&mid=2651365847&scene=21&sn=c25e1be6c79d0908c002cb1230707ac0#wechat_redirect
[Python 1]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f3b8a1eb62d3c68093e7bbc4664c877b9a1d561eae2fe28cc15b5ff97897578d43e3b65&idx=1&mid=2651365837&scene=21&sn=a50df8971721c4298579d98aa7db0011#wechat_redirect
[Python_decorator]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f568a1eb6400427ed936f0ba73feb70ef139da1a650529ac1d0606a69bee9aeaa6f5547&idx=1&mid=2651365792&scene=21&sn=9d969fea7030c5b6ffca79461be88ffd#wechat_redirect
[Python_4]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f948a1eb682cbbd11beac44afb562f92716142b61b286a95d44247fb0d421f062396460&idx=1&mid=2651365730&scene=21&sn=4ef4ab8e3f0dff7fa79fe8fffec0f088#wechat_redirect
[Python_Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693fb68a1eb6a02a55a3387e881009abbffa24d3f128fee9715ee7d1184378fe816699a3b1&idx=1&mid=2651365696&scene=21&sn=b3e8106e2a5b49ed8a36014a89b814be#wechat_redirect
[metaclass_Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e518a1eb747ba5bfb1c95b7734ba6f003a3629c904e929265a28e2b7379064e05f4a59b&idx=1&mid=2651365543&scene=21&sn=49d128105f9cf0e60e6f29d37f4042db#wechat_redirect
[name]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e6d8a1eb77b7ea2c3dd5bc34365f6f16a9e311b171777275faf91ed355e73e4ce080580&idx=1&mid=2651365531&scene=21&sn=b13ae5e0b8b6513eb2b9ea37d7941643#wechat_redirect
[Python_Generator]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e748a1eb762e07dcf354ac469e727e305d62b33647c833480ca09e407fec913ef4820c7&idx=1&mid=2651365506&scene=21&sn=7a8f298b48bec412b279188e9033853e#wechat_redirect
[format_png 1]: /images/20221023/ffed9529992440818b23c0d193ad0d14.png