2019 7.14学习笔记

左手的ㄟ右手 2021-11-16 06:56 223阅读 0赞

发送POST请求：

有时候我们想要在请求数据的时候发送post请求，那么这时候需要使用Request的子类FormRequest来实现，如果想要在爬虫一开始的时候就发送POST请求，那么需要在爬虫类中重写 start\_requests(self)方法，并且不再调用start\_url。

模拟登录人人网：

1.想要发送POST请求，推荐使用“scrapy.FormRequests”方法，可以方便的指定表单数据

2.如果想在爬虫一开始的时候就发送POST请求，那么应该重写“start\_requests”方法。在这个方法中发送post请求。

renren\_spider.py

import scrapy
    class RenrenSpiderSpider(scrapy.Spider):
        name = 'renren_spider'
        allowed_domains = ['renren.com']
        start_urls = ['http://renren.com/']
    
        def start_requests(self):
            url="http://www.renren.com/PLogin.do"
            data={
        "email":"970138074@qq.com","password":"pythonspider"}
            request=scrapy.FormRequest(url,formdata=data,callback=self.parse_page)
            yield request
        def parse_page(self,response):
            # with open('renren.html','w',encoding='utf-8')as fp:
            #     fp.write(response.text)
            request=scrapy.Request(url='http://www.renren.com/880151247/profile',callback=self.parse_profile)
            yield request
        def parse_profile(self,response):
            with open('dp.html','w',encoding='utf-8')as fp:
                fp.write(response.text)

模拟登录豆瓣网

因为教程中的验证码还是字母验证码 而豆瓣网已经更新为滑动验证码 所以不能继续进行了

转载于:https://www.cnblogs.com/jyjoker/p/11192584.html

发表评论取消回复

表情：

评论列表（有 0 条评论，223人围观）

还没有评论，来说两句吧...

相关阅读

相关夏磊2019MySQL高级学习笔记

> 2021年8月15日13:30:11 前置知识: B站地址: 在线视频: https://www.bilibili.com/video/BV12b4

小咪咪/ 2022年09月04日 15:54/ 0 赞/ 169 阅读

相关 uva 714——Copying Books

题意：把一个m个整数的序列划分成k个连续非空的子序列，使得子序列和的最大值最小。思路：二分。遇到最大值最小大多都二分了，让划分的子序列都不超过x，根据x来judg

小灰灰/ 2022年08月10日 00:59/ 0 赞/ 139 阅读

相关 2019-4-8 zookeeper集群介绍学习笔记2

[2019-4-8 zookeeper集群介绍学习笔记2][2019-4-8 zookeeper_2] 构建高可用ZooKeeper集群原理介绍　　ZooKe

偏执的太偏执、/ 2022年04月24日 04:36/ 0 赞/ 105 阅读

相关 2019-4-8 zookeeper学习笔记

[2019-4-8 zookeeper学习笔记][2019-4-8 zookeeper] zookeeper学习 ZooKeeper集合中的节点让我们分析在Zo

红太狼/ 2022年04月24日 04:34/ 0 赞/ 130 阅读

相关个人C语言学习笔记（2019-5-13）

位运算符 > 有时需要对某个整数类型变量中的某一位（bit）进行操作。例如，判断某一位是否为1，或只改变其中某一位，而其他位都保持不变。C/C++语言提供了“ 位运算 ”的操

水深无声/ 2022年02月01日 07:39/ 0 赞/ 191 阅读

相关 2019.03.09----LINUX学习笔记

![2019.03.09----LINUX学习笔记][2019.03.09----LINUX] ![2019.03.09----LINUX学习笔记][2019.03.09--

男娘i/ 2022年01月12日 22:04/ 0 赞/ 159 阅读

相关 2019-5-1 maven学习笔记

一.maven的好处同样的项目使用maven工程来实现，由于不需要导入很多jar包，源码很小原理：根据坐标到项目的仓库里查找需要的依赖二.安装步骤 1.到[htt

约定不等于承诺〃/ 2021年12月23日 05:27/ 0 赞/ 169 阅读

相关 B站2019年最新机器学习笔记01

1，下载 python 3.x (我们选择3.6.3版本) [https://www.python.org/downloads/][https_www.python.org

以你之姓@/ 2021年11月22日 11:32/ 0 赞/ 256 阅读

相关 2019 7.14学习笔记

发送POST请求：有时候我们想要在请求数据的时候发送post请求，那么这时候需要使用Request的子类FormRequest来实现，如果想要在爬虫一开始的时候就发送POS

左手的ㄟ右手/ 2021年11月16日 06:56/ 0 赞/ 224 阅读

相关 2019.8.7学习内容及笔记

总结字符编码回顾计算机基础： 1. cpu：控制程序运行（从硬盘中取出文本编辑器的数据读入内存） 2. 内存：运行程序（经CPU操作后，内存中含有的文本编辑器

╰+哭是因爲堅強的太久メ/ 2021年10月29日 08:31/ 0 赞/ 232 阅读