Python之urllib爬虫

偏执的太偏执、 2022-03-25 04:26 326阅读 0赞

爬虫案例如下：在豆瓣上爬取喜剧的前20条数据

#引入urllib
    import urllib
    import urllib.request
    from urllib.request import Request
    from urllib import parse
    #爬虫地址
    url = 'https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10'
    #POST请求数据
    submit_data = {
    	'start':20,
    	'tags':'喜剧'
    }
    #请求数据编码，注意：这儿需要加上UTF8，否则会报下面的错误
    data = urllib.parse.urlencode(submit_data).encode(encoding='UTF8')
    headers = {
    	"Accept" : "application/json, text/plain, */*",
        "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.7 Safari/537.36",
        "Accept-Language" : "zh-CN,zh;q=0.8"
    }
    #开始请求
    request = urllib.request.Request(url,data,headers)
    #获取请求结果
    content = urllib.request.urlopen(request).read()
    #将结果写入文档
    with open('movies.json','wb+') as f:
    	f.write(content)

爬取结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk3MDk4Nw_size_16_color_FFFFFF_t_70]  
错误：  
![在这里插入图片描述][20190118160019959.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk3MDk4Nw_size_16_color_FFFFFF_t_70]: /images/20220325/33dbde8f36384e889a7adaefbfbfe056.png
[20190118160019959.png]: /images/20220325/5935406f28c148bdb7533b82c3a963ee.png

发表评论取消回复

表情：

评论列表（有 0 条评论，326人围观）

还没有评论，来说两句吧...

相关阅读

相关 06-python爬虫库urllib，开始编写python爬虫代码

终于要开始写爬虫代码了我们首先了解一下 Urllib 库，它是 Python 内置的 HTTP 请求库，也就是说我们不需要额外安装即可使用，它包含四个模块：第一个

Myth丶恋晨/ 2022年12月09日 05:00/ 0 赞/ 246 阅读

相关 python urllib.request 爬虫数据处理-运维学python之爬虫基础篇（二）urllib模块使用...

1 何为爬虫网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用

向右看齐/ 2022年11月21日 14:13/ 0 赞/ 230 阅读

相关 Python之urllib爬虫-request模块和parse模块详解

文章目录 urllib request模块访问URL Request类其他类 parse模块解

太过爱你忘了你带给我的痛/ 2022年11月06日 13:59/ 0 赞/ 334 阅读

相关 Python爬虫之urllib简单下载内容

一、保存下载文件到本地 encoding=utf-8 import urllib.request url = 'http://www.baidu.c

水深无声/ 2022年06月03日 05:35/ 0 赞/ 256 阅读

相关 Python爬虫-urllib2（2）

Python爬虫-urllib2（2） @(博客)\[python, 爬虫, urllib2, Python, 代理\] Python爬虫-urllib2（2）

比眉伴天荒/ 2022年05月24日 04:45/ 0 赞/ 312 阅读

相关 Python爬虫-urllib2（1）

Python爬虫-urllib2（1） @(博客)\[python, 爬虫, urllib2, Python\] Python爬虫-urllib2（1）

叁歲伎倆/ 2022年05月24日 02:59/ 0 赞/ 296 阅读

相关 Python之urllib爬虫

爬虫案例如下：在豆瓣上爬取喜剧的前20条数据引入urllib import urllib import urllib.request fro

偏执的太偏执、/ 2022年03月25日 04:26/ 0 赞/ 327 阅读

相关 python爬虫urllib（2） —带有请求参数的爬虫

文章目录一、url中请求参数的处理二、实例—带有请求参数的爬虫 1.步骤

小灰灰/ 2022年03月02日 16:07/ 0 赞/ 491 阅读

相关 python爬虫（三）之 Urllib库的基本使用

什么是Urllib？ Urllib是python内置的HTTP请求库包括以下模块 urllib.request 请求模块 urllib.error 异常处理

港控/mmm°/ 2021年11月23日 02:18/ 0 赞/ 349 阅读

相关爬虫之urllib库使用

请求方法request import urllib.request url = "https://blog.csdn.net/fengxinlinux/a

我就是我/ 2021年11月05日 09:46/ 0 赞/ 378 阅读