手把手教你使用scrapy框架来爬取北京新发地价格行情（实战篇）

ゝ一世哀愁。 2022-09-14 03:14 170阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

身着白衣，心有锦缎。

##     大家好！我是霖hero。上个月的时候，我写了一篇关于IP代理的文章，[手把手教你使用XPath爬取免费代理IP][XPath_IP][手把手教你使用scrapy框架来爬取北京新发地价格行情（理论篇）][scrapy]，今天在这里分享我的第三篇文章，关于Scrapy实战的应用文章，希望大家可以喜欢。 ##

## 前言 ##

关于Scrapy理论的知识，可以参考我的上一篇文章，这里不再赘述，直接上干货。

# 实战演练 #

## 爬取分析 ##

首先我们进入北京新发地价格行情网页并打开开发者工具，如下图所示：

![41fb777f81bab6e9b9e2ab9777dd5c4d.png][]

经过简单的查找，发现每个getPriceData.html存放着价格行情的数据，由此可得，我们可以通过getPriceData.html来进行数据的获取。

观察Headers请求，如下图所示：

![bbd8f2489f0dccd40538a6e66196f634.png][]

发现它是POST请求，请求URL链接是http://www.xinfadi.com.cn/getPriceData.html，current是翻页的重要参数，limit是每页有多少行数据，我们可以构造消息体，代码如下所示：

data={
    'limit': '20',
    'current':page
    }

通过scrapy.Request()方法将消息体传入到参数里面。

或者我们可以根据测试和观察规律，自己构造URL链接，通过观察分析，请求的URL链接可以为：

http://www.xinfadi.com.cn/getPriceData.html?limit=20&current=1
    http://www.xinfadi.com.cn/getPriceData.html?limit=20&current=2
    http://www.xinfadi.com.cn/getPriceData.html?limit=20&current=3

## 创建Spider爬虫 ##

分析北京新发地价格行情后，接下来我们首先创建一个Scrapy项目，使用如下命令：

scrapy startproject Vegetables

这样我们就成功创建了一个Scrapy项目，项目文件如下所示：

![6d1899f2be38aa288fbb3969c14b6f02.png][]

接下来创建spider爬虫，使用如下命令：

scrapy genspider vegetables www.xinfadi.com.cn

创建后vegetables.py内容如下所示：

import scrapy
    
    
    class VegetablesSpider(scrapy.Spider):
       name = 'vegetables'
       allowed_domains = ['www.xinfadi.com.cn']
       start_urls = ['https://www.xinfadi.com.cn']
       
       def parse(self, response):
           pass

## 提取数据 ##

在提取数据前，我们首先把要爬取的数据字段在items.py文件中定义好，代码如下所示：

import scrapy
    
    
    class VegetablesItem(scrapy.Item):
       # define the fields for your item here like:
       productName = scrapy.Field()
       lowPrice=scrapy.Field()
       highPrice=scrapy.Field()

这里我们定义了三个字段分别是productName、lowPrice、highPrice

定义好字段后，接下来将在创建的vegetables.py文件中进行数据的提取，具体代码如下

import scrapy
    from Vegetables.items import VegetablesItem
    
    
    class VegetablesSpider(scrapy.Spider):
       name = 'vegetables'
       allowed_domains = ['www.xinfadi.com.cn']
       def start_requests(self):
           for i in range(1, 3):
               url = f'http://www.xinfadi.com.cn/getPriceData.html?limit=20&current={i}'
               yield scrapy.Request(url=url, callback=self.parse)
    
    
       def parse(self, response):
           html = response.json()
           fooddata = html.get('list')
           for i in fooddata:
               item=VegetablesItem()
               item['highPrice'] =i.get('highPrice'),
               item['lowPrice'] = i.get('lowPrice'),
               item['prodName'] = i.get('prodName'),
               yield item

首先我们导入vegetablesitem，使用start\_requests函数实现翻页，大家可以使用刚才我们所讲的方法实现翻页，实现翻页后，我们通过编写parse()方法实现数据的获取，首先我们把引擎响应的数据以json()格式存放在html里面，调用get()方法来提取我们想要的数据，最后通过yield生成器返回给引擎。

最后我们在settings.py设置引擎的启动，代码如下所示：

ITEM_PIPELINES = {
      'Vegetables.pipelines.VegetablesPipeline': 300,
    }

在这里我们就不保存数据在MongoDB数据库里面了，我们直接启动Spider爬虫并把数据以csv格式输出，使用如下命令：

scrapy crawl vegetables -o 11.c

运行结果如下：

![617b908be20c9b5023281e6b958f0be1.png][]

好了，Scrapy框架爬取北京新发地就讲解到这里了，感谢观看！！！

### 总结 ###

大家好，我是霖hero。这篇文章基于上篇理论文章，主要给大家分享了Scrapy爬虫框架的实战内容，Scrapy是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，是提取结构性数据而编写的应用框架，其架构清晰，模块之间的耦合程度低，可扩展性极强。

最后需要本文完整代码的小伙伴，可以在后台回复关键字“**菜狗**”进行获取，觉得不错，记得点赞、收藏、转发三连支持噢！

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  [手把手教你使用scrapy框架来爬取北京新发地价格行情（理论篇）][scrapy]
 *  [手把手教你使用Python网络爬虫获取B站视频选集内容（附源码）][Python_B]
 *  [一文带你搞懂Python中pickle模块][Python_pickle]
 *  [Python项目实战篇——常用验证码标注&识别(CNN神经网络模型训练/测试/部署)][Python_CNN]

![b002092d34ddb5f237a2be4578742437.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~~

[XPath_IP]: https://blog.csdn.net/pdcfighting/article/details/118447287
[scrapy]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA==&mid=2247497534&idx=1&sn=ba62e7c911c4d82c31f74194e6465baf&chksm=fcc0b115cbb73803748bd0ee0e8897de03f4983f6367ae2cea40eac3ef4985bb929142938882&scene=21#wechat_redirect
[41fb777f81bab6e9b9e2ab9777dd5c4d.png]: /images/20220828/4a9e0237abab4c26b55b0ad92a72a3f4.png
[bbd8f2489f0dccd40538a6e66196f634.png]: /images/20220828/88dd36cf611548a8abac8422608cd014.png
[6d1899f2be38aa288fbb3969c14b6f02.png]: /images/20220828/32c3734487b74030a0395bed8f729c81.png
[617b908be20c9b5023281e6b958f0be1.png]: /images/20220828/fb2754a452c941f7a912e3d7f248b9d3.png
[Python_B]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA==&mid=2247497460&idx=1&sn=4dd919694dd0b08193b04a6a1ff266aa&chksm=fcc0b0dfcbb739c91ab9e123e800a08c5eef28ec22793533e29fe1e88819e50b95c75ec5cb94&scene=21#wechat_redirect
[Python_pickle]: https://blog.csdn.net/pdcfighting/article/details/120397934
[Python_CNN]: https://blog.csdn.net/pdcfighting/article/details/120212984
[b002092d34ddb5f237a2be4578742437.png]: /images/20220828/8e9ac42820884e8cad5b8e31c139ddc3.png