python3 获取百度首页源码

青旅半醒 2022-05-09 14:28 190阅读 0赞

最近在学习python3爬虫，爬取百度首页的时候遇到了一些问题，说是解码错误，网上找了一些也是一样的写法，下面是我的方法

python环境为：python3.6..5

import urllib.request

response = urllib.request.urlopen('http://www.baidu.com')

print(response.read().decode('utf8'))

下面是错误内容

---------------------------------------------------------------------------
    UnicodeDecodeError                        Traceback (most recent call last)
    <ipython-input-2-549c9418a074> in <module>()
          7 #buff = BytesIO(response.read()) # 把content转为文件对象
          8 #f = gzip.GzipFile(fileobj=buff)
    ----> 9 print(response.read().decode('utf8'))
    
    UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

说是解码错误

网址换成http://www.taobao.com此时没有问题

回到获取百度首页的代码，查看一下网页的信息

print(response.info())

下面是输出内容

Content-Type: text/html
    Content-Encoding: gzip
    Content-Length: 8394
    Cache-Control: no-store
    Pragma: no-cache
    Expires: -1
    Connection: close

实际上是百度网页压缩成gzip了，解压缩就可以了

import urllib.request  
from io import BytesIO  
import gzipresponse = urllib.request.urlopen('http://www.baidu.com')  
buff = BytesIO(response.read())      \# 把content转为文件对象  
f = gzip.GzipFile(fileobj=buff)  
print(f.read().decode('utf8'))

这次就好了

发表评论取消回复

表情：

评论列表（有 0 条评论，190人围观）

还没有评论，来说两句吧...

相关阅读

相关工业项目首页百度地图

<template> <div class="baidu_map"> <baidu-map class="map"

柔光的暖阳◎/ 2022年12月30日 13:38/ 0 赞/ 136 阅读

相关仿百度首页HTML和CSS,仿百度首页

实现的效果如下图: ![89bdf10b4f57][] 屏幕快照 2017-07-26 13.48.01.png 新手写代码的悲哀,知道代码一堆问题却无从下手,只能贴上实

野性酷女/ 2022年10月07日 12:47/ 0 赞/ 214 阅读

相关百度在首页输出console发布招聘信息

继上次百度知道在console里发出职位邀请后；日前，百度又在其首页和搜索页向浏览器输出console，看来百度还真是求贤若渴玩上瘾啦，查看方法：用Chrome打开百度首页或搜

ゝ一世哀愁。/ 2022年09月17日 12:28/ 0 赞/ 182 阅读

相关 html仿百度首页

<!DOCTYPE html> <html> <head> <title>百度页面</title>

野性酷女/ 2022年09月04日 04:39/ 0 赞/ 185 阅读

相关 Android 仿百度手机助手首页滑动效果

今天看到百度手机助手首页上的滑动效果非常nice，主要功能归结为： > 1、当手指上划时，顶部搜索栏随手指移动距离而缩小到隐藏，隐藏后内容还是可以继续移动 > 2、手指下

朴灿烈づ我的快乐病毒、/ 2022年08月01日 16:34/ 0 赞/ 192 阅读

相关 python与matlab爬虫百度图片首页的图片(urllib.request)

python的爬虫实践 python版本：python 3.6.0，实践内容：爬去百度图片首页的所有图片保存在本地，并批量读取图片并排列组合成一张大图。内容涉及：正则表达

朴灿烈づ我的快乐病毒、/ 2022年06月10日 10:36/ 0 赞/ 153 阅读

相关 java 爬去百度首页HTML源码

import java.io.; import java.net.URL; import java.net.URLConnection;

柔情只为你懂/ 2022年05月10日 12:56/ 0 赞/ 162 阅读

相关 python3 获取百度首页源码

最近在学习python3爬虫，爬取百度首页的时候遇到了一些问题，说是解码错误，网上找了一些也是一样的写法，下面是我的方法 python环境为：python3.6..5 im

青旅半醒/ 2022年05月09日 14:28/ 0 赞/ 191 阅读

相关百度首页制作

![70][] HTML： <!DOCTYPE html> <html lang="en"> <head> <title>Docum

Myth丶恋晨/ 2022年05月09日 08:03/ 0 赞/ 243 阅读

相关【Web crawler】爬虫之百度首页

刚开始学习爬虫，照着教程手打了一遍，还是蛮有成就感的。使用版本：python2.7 \注意：python2的默认编码是ASCII编码而python3默认编码是utf-8

怼烎@/ 2021年12月22日 06:29/ 0 赞/ 220 阅读