Scrapy第十三篇：编码检测cchardet

谁借莪１个温暖的怀抱￠ 2024-04-08 09:42 70阅读 0赞

cchardet是chardet的升级版，功能和chardet完全一样（requests依赖包采用的就是chardet），用来检测一个字节数组的编码。由于是用C和C++实现的，所以它的速度非常快，非常适合在爬虫中用来判断网页的编码。  
**切记，不要相信requests返回的encoding，自己判断一下更放心**。

#### 1.看下爬虫必备依赖包：requests是怎么解码的。 ####

if __name__ == '__main__':
        # 获取百度新闻首页
        response: Response = requests.get('http://news.baidu.com/')
    
        # 直接通过text计算属性就能直接拿到字符串，但是这种方式并不保险。
        html: str = response.text

![31d77f62e1514b83beddb87c1dcd8161.png][]

#### ![bba4a29747474b46afd88b1f038717fb.png][]2.依赖包 ####

pip install cchardet

#### 3.手动解码更放心： ####

import cchardet
    import requests
    from requests import Response
    
    if __name__ == '__main__':
        # 获取百度新闻首页
        response: Response = requests.get('http://news.baidu.com/')
        """
        自动解码：不推荐
        """
        # 直接通过text计算属性就能直接拿到字符串，但是这种方式并不保险。
        html: str = response.text
    
        """
        手动解码：推荐
        """
        # 获取字节数组
        html_bytes = response.content
        # 判断编码
        detect = cchardet.detect(html_bytes)
        # 解码
        html_ = html_bytes.decode(detect['encoding'])

#### 4.判断bytes文件编码 ####

# -*- coding: utf-8 -*-
    import cchardet as chardet
    
    with open(r"util.py", "rb") as f:
        msg = f.read()
        result = chardet.detect(msg)
        print(result)

![8b7fced5aa5a4c3b82ec533a93cbcb33.png][]

[31d77f62e1514b83beddb87c1dcd8161.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/b03570aa5a954e79a0bac0a065a0f949.png
[bba4a29747474b46afd88b1f038717fb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/b4c78d1f45974c2caf1957b22593e1ea.png
[8b7fced5aa5a4c3b82ec533a93cbcb33.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/53fabc23feed42e2ad4dadcc6302389d.png