汉字乱码问题

小鱼儿 2023-06-08 12:00 23阅读 0赞

做爬虫的时候，常常会因为各种乱码问题而头疼不已，你可能会遇到字体加密的乱码，会遇到抓包工具缺少证书乱码，可能会遇到网页的编码方式是不是常规的编码格式出现乱码，这里就讲一下我今天遇到的乱码问题。

首先讲一下，我遇到的问题，作者是在抓包工具上抓到一个链接，然后复制出headers，然后模拟浏览器进行请求，刚开始还好好的很正常，并没有什么不对的地方，但是不知道什么原因突然请求回来的内容中汉字出现了乱码，本来以为可以打印一下响应的编码方式然后解码之后重新用utf-8编码就可以解决问题，然而事情并不是这个样子的 。

先来看一下出现乱码的情况：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU3NTAyMA_size_16_color_FFFFFF_t_70][]

就是这样，只有中文是乱码的，其他的数据还是正常的（这就可以看出来对中文是多么不友好），但是问题来了，我把链接放进浏览器里，加载出来的数据是正常的，那这是怎么回事呢？

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU3NTAyMA_size_16_color_FFFFFF_t_70 1][]

其实问题很简单，问题就是出现在请求头里，我本来以为，从抓包工具里抓出来的headers里应该是包含了规定请求协议所必须的全部条件（之前一直用抓包工具里粘贴出来的headers，并没有出现过这个问题），现在才发现问题的所在

![20191018134932694.png][]

只是因为headers里缺少了Accept这个参数，我本来想到的是Accept-Encoding参数不对，后来尝试以后才发现是前者出现了问题，我把浏览器里的Accpet参数加进去以后再次请求，数据恢复正常，问题得到圆满解决。

只是因为大多数情况下，这个参数不用携带依然可以请求回来正常的数据，所以我们很容易忽略了是这个方面的问题。

另外，这里顺便给大家总结一些请求头参数的含义，以及响应头参数的具体含义，也有可能会成为面试的问题啊

请求头Header    解释    示例
    Accept    指定客户端能够接收的内容类型    Accept: text/plain, text/html
    Accept-Charset    浏览器可以接受的字符编码集。    Accept-Charset: iso-8859-5
    Accept-Encoding    指定浏览器可以支持的web服务器返回内容压缩编码类型。    Accept-Encoding: compress, gzip
    Accept-Language    浏览器可接受的语言    Accept-Language: en,zh
    Accept-Ranges    可以请求网页实体的一个或者多个子范围字段    Accept-Ranges: bytes
    Authorization    HTTP授权的授权证书    Authorization: Basic QWxhZGRpbjpvcGVuIHNlc2FtZQ==
    Cache-Control    指定请求和响应遵循的缓存机制    Cache-Control: no-cache
    Connection    表示是否需要持久连接。（HTTP 1.1默认进行持久连接）    Connection: close
    Cookie    HTTP请求发送时，会把保存在该请求域名下的所有cookie值一起发送给web服务器。    Cookie: $Version=1; Skin=new;
    Content-Length    请求的内容长度    Content-Length: 348
    Content-Type    请求的与实体对应的MIME信息    Content-Type: application/x-www-form-urlencoded
    Date    请求发送的日期和时间    Date: Tue, 15 Nov 2010 08:12:31 GMT
    Expect    请求的特定的服务器行为    Expect: 100-continue
    From    发出请求的用户的Email    From: user@email.com
    Host    指定请求的服务器的域名和端口号    Host: www.zcmhi.com
    If-Match    只有请求内容与实体相匹配才有效    If-Match: “737060cd8c284d8af7ad3082f209582d”
    If-Modified-Since    如果请求的部分在指定时间之后被修改则请求成功，未被修改则返回304代码    If-Modified-Since: Sat, 29 Oct 2010 19:43:31 GMT
    If-None-Match    如果内容未改变返回304代码，参数为服务器先前发送的Etag，与服务器回应的Etag比较判断是否改变    If-None-Match: “737060cd8c284d8af7ad3082f209582d”
    If-Range    如果实体未改变，服务器发送客户端丢失的部分，否则发送整个实体。参数也为Etag    If-Range: “737060cd8c284d8af7ad3082f209582d”
    If-Unmodified-Since    只在实体在指定时间之后未被修改才请求成功    If-Unmodified-Since: Sat, 29 Oct 2010 19:43:31 GMT
    Max-Forwards    限制信息通过代理和网关传送的时间    Max-Forwards: 10
    Pragma    用来包含实现特定的指令    Pragma: no-cache
    Proxy-Authorization    连接到代理的授权证书    Proxy-Authorization: Basic QWxhZGRpbjpvcGVuIHNlc2FtZQ==
    Range    只请求实体的一部分，指定范围    Range: bytes=500-999
    Referer    先前网页的地址，当前请求网页紧随其后,即来路    Referer: http://www.zcmhi.com/archives/71.html
    TE    客户端愿意接受的传输编码，并通知服务器接受接受尾加头信息    TE: trailers,deflate;q=0.5
    Upgrade    向服务器指定某种传输协议以便服务器进行转换（如果支持）    Upgrade: HTTP/2.0, SHTTP/1.3, IRC/6.9, RTA/x11
    User-Agent    User-Agent的内容包含发出请求的用户信息    User-Agent: Mozilla/5.0 (Linux; X11)
    Via    通知中间网关或代理服务器地址，通信协议    Via: 1.0 fred, 1.1 nowhere.com (Apache/1.1)
    Warning    关于消息实体的警告信息    Warn: 199 Miscellaneous warning
    
    
    
    Responses 部分 | Http Header
    Header    解释    示例
    Accept-Ranges    表明服务器是否支持指定范围请求及哪种类型的分段请求    Accept-Ranges: bytes
    Age    从原始服务器到代理缓存形成的估算时间（以秒计，非负）    Age: 12
    Allow    对某网络资源的有效的请求行为，不允许则返回405    Allow: GET, HEAD
    Cache-Control    告诉所有的缓存机制是否可以缓存及哪种类型    Cache-Control: no-cache
    Content-Encoding    web服务器支持的返回内容压缩编码类型。    Content-Encoding: gzip
    Content-Language    响应体的语言    Content-Language: en,zh
    Content-Length    响应体的长度    Content-Length: 348
    Content-Location    请求资源可替代的备用的另一地址    Content-Location: /index.htm
    Content-MD5    返回资源的MD5校验值    Content-MD5: Q2hlY2sgSW50ZWdyaXR5IQ==
    Content-Range    在整个返回体中本部分的字节位置    Content-Range: bytes 21010-47021/47022
    Content-Type    返回内容的MIME类型    Content-Type: text/html; charset=utf-8
    Date    原始服务器消息发出的时间    Date: Tue, 15 Nov 2010 08:12:31 GMT
    ETag    请求变量的实体标签的当前值    ETag: “737060cd8c284d8af7ad3082f209582d”
    Expires    响应过期的日期和时间    Expires: Thu, 01 Dec 2010 16:00:00 GMT
    Last-Modified    请求资源的最后修改时间    Last-Modified: Tue, 15 Nov 2010 12:45:26 GMT
    Location    用来重定向接收方到非请求URL的位置来完成请求或标识新的资源    Location: http://www.zcmhi.com/archives/94.html
    Pragma    包括实现特定的指令，它可应用到响应链上的任何接收方    Pragma: no-cache
    Proxy-Authenticate    它指出认证方案和可应用到代理的该URL上的参数    Proxy-Authenticate: Basic
    refresh    应用于重定向或一个新的资源被创造，在5秒之后重定向（由网景提出，被大部分浏览器支持）    Refresh: 5; url=http://www.atool.org/httptest.php
    Retry-After    如果实体暂时不可取，通知客户端在指定时间之后再次尝试    Retry-After: 120
    Server    web服务器软件名称    Server: Apache/1.3.27 (Unix) (Red-Hat/Linux)
    Set-Cookie    设置Http Cookie    Set-Cookie: UserID=JohnDoe; Max-Age=3600; Version=1
    Trailer    指出头域在分块传输编码的尾部存在    Trailer: Max-Forwards
    Transfer-Encoding    文件传输编码    Transfer-Encoding:chunked
    Vary    告诉下游代理是使用缓存响应还是从原始服务器请求    Vary: *
    Via    告知代理客户端响应是通过哪里发送的    Via: 1.0 fred, 1.1 nowhere.com (Apache/1.1)
    Warning    警告实体可能存在的问题    Warning: 199 Miscellaneous warning
    WWW-Authenticate    表明客户端请求实体应该使用的授权方案    WWW-Authenticate: Basic

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU3NTAyMA_size_16_color_FFFFFF_t_70]: /images/20230531/7c5d56eedb2a4f969658ba32b5db95fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU3NTAyMA_size_16_color_FFFFFF_t_70 1]: /images/20230531/9e1a370e216146609d2c353f096e91b9.png
[20191018134932694.png]: /images/20230531/a35de50cc08d4804bc4e11b4c66307b9.png