python中requests爬去网页内容出现乱码的解决方案

淡淡的烟草味﹌ 2022-08-21 06:53 165阅读 0赞

最近在学习python爬虫，使用requests的时候遇到了不少的问题，比如说在requests中如何使用cookies进行登录验证，[这可以查看博客内容][Link 1]。这篇博客要解决的问题是如何避免在使用requests的时候出现乱码。

import requests  
    res=requests.get("https://www.baidu.com")  
    print res.content</span>

以上就是使用requests进行简单的网页请求数据的方式。但是很容易出现乱码的问题。

我们可以通过在网页上右击查看源代码中查看编码方式：content="text/html;charset=utf-8"-> 我们便可以知道网页的编码方式是utf8.由于中文的编码方式为gbk，所以我们需要将编码方式改变为gbk。

我查看了一些资料，说requests可以自动获取网页的编码方式的，并且通过res.encode输出一看是utf8，是的 没错。但是输出来的内容中文存在乱码。 有说可以直接指定获取到内容的encode属性即可，"res.encode='gbk'"，但我尝试了不可以的。

python内部的编码方式为utf8，也就是说python在处理其他字符串内容的时候首先要先将内容转化为utf8的编码方式，然后在解码为你想要的编码方式输出。

例如s=”中文” 为str类型的字符串 编码方式为gb2312

需要 s.decode("gb2312")将gb2312编码方式的内容解码为Unicode编码

然后输出的时候要将s的编码方式规定为gbk->s.encode("gbk")

言归正传，我们获取到网页内容res后， 通过res.content.decode("utf8","ignore").encode("gbk","ignore")就不会有乱码了。

这里所使用的ignore属性意思是忽略其中有一场的编码，仅显示有效的编码。

这里说一下在python中编码的转化问题：（可以[查看博客总结][Link 2]）

有关requests的使用代理问题的解决可以[查看博客内容][Link 3]。

[Link 1]: http://blog.csdn.net/winterto1990/article/details/51213029
[Link 2]: http://blog.csdn.net/winterto1990/article/details/47660383
[Link 3]: http://blog.csdn.net/winterto1990/article/details/51220307

发表评论取消回复

表情：

评论列表（有 0 条评论，165人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬取网页内容

import urllib.request url = "https://blog.csdn.net/zhangphil" response

浅浅的花香味﹌/ 2024年02月19日 17:17/ 0 赞/ 30 阅读

相关 python-爬虫-requests.get()-响应内容中文乱码

python-爬虫-requests.get()-响应内容中文乱码由于目标url的headers没有提供charset，那么这串字节流就会用latin-1 转

港控/mmm°/ 2024年02月18日 18:17/ 0 赞/ 37 阅读

相关条码打印出现乱码的解决方案

条码打印出现乱码的解决方案参考文章： [（1）条码打印出现乱码的解决方案][1] （2）https://www.cnblogs.com/xtwkh1973/p/1098

朱雀/ 2022年09月14日 12:27/ 0 赞/ 181 阅读

相关爬虫：用request爬取网页源码。出现ISO乱码

获取源码 def getHTML(url): html=requests.get(url) html.encod

﹏ヽ暗。殇╰゛Y/ 2022年09月09日 12:50/ 0 赞/ 146 阅读

相关 python中requests爬去网页内容出现乱码的解决方案

最近在学习python爬虫，使用requests的时候遇到了不少的问题，比如说在requests中如何使用cookies进行登录验证，[这可以查看博客内容][Link 1]。这

淡淡的烟草味﹌/ 2022年08月21日 06:53/ 0 赞/ 166 阅读

相关 request.getInputStream中文乱码解决方案

final\_request.setCharacterEncoding("UTF-8"); StringBuilder buffer = new StringBuild

亦凉/ 2022年08月08日 17:49/ 0 赞/ 117 阅读

相关 python爬虫：使用requests_html库爬取网页中的内容（详细教程）

在python 3.6版本及以上，引入了一个新的库：requests\_html 。说实话，这个库是真的方便使用，它可以将爬虫变得很简单，话不多说，直接上手。我们想要爬取下面这

墨蓝/ 2022年04月23日 04:48/ 0 赞/ 478 阅读

相关 Python HTTP库requests中文页面乱码解决方案！

\ - requests模块如何处理携带参数的get请求 \ -- 需求：指定一个词条，获取搜狗搜索结果所对应的页面数据 import requests url =

叁歲伎倆/ 2022年01月06日 11:39/ 0 赞/ 185 阅读

相关 Python scrapy爬取京东，百度百科出现乱码，解决方案

Python scrapy爬取京东百度百科出现乱码解决方案十分想念顺店杂可。。。抓取百度百科，出现乱码 ![在这里插入图片描述][

青旅半醒/ 2022年01月05日 14:29/ 0 赞/ 185 阅读

相关 nodejs爬取网页乱码解决方法

var req = https.request(options, function (res) { res.setEncoding('

秒速五厘米/ 2021年10月23日 23:22/ 0 赞/ 397 阅读