Python scrapy基础教程（三）

桃扇骨 2022-06-17 01:11 220阅读 0赞

欢迎加入学习交流QQ群：657341423

--------------------

爬虫最基本的就是对网页的post和get，也就是http的post和get，这样就可以动态实现自己想要那个网页的数据。

scrapy的post和get使用是有一定限制的：  
**1.如果start\_urls不是post接口，可以通过start\_urls里面找到接口路径，然后在FormRequest**  
**2.如果start\_urls是post接口，只能重定义start\_requests方法，定义为post方式。**  
**3.如果get带参数，直接在url参数化即可。**

**Get带参数**  
![这里写图片描述][SouthEast]  
其中，Spider和CrawlSpider都适用  
这个比较简单  
start\_urls带参数也是可以的

**如果start\_urls是post接口**  
![这里写图片描述][SouthEast 1]  
因为start\_requests开始定义是get方法，如果接口是post的，会返回405错误码，所以要重写start\_requests  
![这里写图片描述][SouthEast 2]

**如果start\_urls不是post接口**  
![这里写图片描述][SouthEast 3]  
start\_urls为一个接收任务接口，为get，程序必需运行获取到这个start\_urls的内容后，在parse方法才运行post。  
**注意：start\_urls的链接和parse里面的turl必需有关联才行，如果我把start\_urls改为\[‘[https://www.baidu.com/][https_www.baidu.com]’\]，parse是post不到的。**  
就是说，scrapy运行必需执行一次start\_requests的方法才运行到自己写的方法里去。

**scrapy与requests库的post和get对比：**  
scrapy的post和get在写法上比requests库的要复杂一点。  
scrapy必需按照流程一步一步走，虽然可以变动，但大体都是框架式的代码，灵活性低。基本流程：start\_urls->start\_requests->parse(Spider模式下，CrawlSpider差不了多小)  
scrapy分布式爬虫，工作分工明确，而且框架结构，便于维护和管理，利于大型的爬虫

[SouthEast]: /images/20220617/1cdd40c96215461da58709fce32b4bef.png
[SouthEast 1]: /images/20220617/e1b1e36e88874825ae11dbeab98f8ca6.png
[SouthEast 2]: /images/20220617/121ff6738cc24fa39d471e1627cd3e17.png
[SouthEast 3]: /images/20220617/f38cb09f309844bea52086e972a0a347.png
[https_www.baidu.com]: https://www.baidu.com/