scrapy-redis案例（三）爬取中国红娘相亲网站

╰半橙微兮° 2022-05-26 04:00 179阅读 0赞

前言：本案例将分为三篇。

第一篇，使用scrapy框架来实现爬取中国红娘相亲网站。

第二篇，使用scrapy-redis 简单的方式爬取中国红娘相亲网站。（使用redis存储数据，请求具有持续性，但不具备分布式）

第三篇，使用scrapy-redis 分布式的方法爬取中国红娘相亲网站，并使用mysql将数据持久化。

## （1）修改第二篇的代码为scrapy-redis 分布式的代码 ##

废话不多说，从settings.py文件配置来说，没有什么变化。主要改写spider 即可。

【1】导入RedisCrawlSpider类，不使用CrawlSpider

from scrapy_redis.spiders import RedisCrawlSpider

【2】修改继承的类为 RedisCrawlSpider

class HongniangspiderSpider(RedisCrawlSpider):

【3】修改爬虫爬取的域（allowed\_domains）和开始的url（start\_urls）

# allowed_domains = ['hongniang.com']
        # start_urls = ['http://www.hongniang.com/index/search?sort=0&wh=0&sex=2&starage=0&province=0&city=0&marriage=0&edu=0&income=0&height=0&pro=0&house=0&child=0&xz=0&sx=0&mz=0&hometownprovince=0']
        # 增加redis_keys
        redis_key = 'hongniang:start_urls'

我们可以直接将 爬取的域和 开始的url 注释掉，添加上一个 redis\_key ，通常这个reidskey 的写法就是： 爬虫名：start\_urls

在reids 中，“：” 冒号将被生成像文件夹一样。

![70][]

这个redis\_key 设置的就是我们将来开始爬取的网址，即跟原来的 start\_urls 一样。

其中allowed\_domains  允许的域，如果不写方法设置，那么默认自动获取网址中的域。

修改基本就是这么多

整体代码：

# -*- coding: utf-8 -*-
    import scrapy
    from scrapy.linkextractors import LinkExtractor
    from scrapy.spiders import CrawlSpider, Rule
    from hongniang.items import HongniangItem
    # 1. 导入RedisCrawlSpider类，不使用CrawlSpider
    from scrapy_redis.spiders import RedisCrawlSpider
    
    class HongniangspiderSpider(RedisCrawlSpider):
        name = 'hongniangSpider'
        # allowed_domains = ['hongniang.com']
        # start_urls = ['http://www.hongniang.com/index/search?sort=0&wh=0&sex=2&starage=0&province=0&city=0&marriage=0&edu=0&income=0&height=0&pro=0&house=0&child=0&xz=0&sx=0&mz=0&hometownprovince=0']
        # 增加redis_keys
        redis_key = 'hongniang:start_urls'
    
        #中国红娘index页面的分页
        page_lx = LinkExtractor(allow=('index/search\?.*&page=\d+'))
        #个人详细的信息
        self_lx = LinkExtractor(allow=('user/member/id/\d+'))
        #规则
        rules = (
            Rule(page_lx,follow=True),
            Rule(self_lx,callback='parse_item',follow=False)
        )
    
        def parse_item(self, response):
            item = HongniangItem()
            # 用户名称
            item['nickname'] = self.get_nickname(response)
            # 用户id
            item['loveid'] = self.get_loveid(response)
            # 用户的照片
            item['photos'] = self.get_photos(response)
            # 用户年龄
            item['age'] = self.get_age(response)
            # 用户的身高
            item['height'] = self.get_height(response)
            # 用户是否已婚
            item['ismarried'] = self.get_ismarried(response)
            # # 用户年收入
            item['yearincome'] = self.get_yearincome(response)
            # # 用户的学历
            item['education'] = self.get_education(response)
            # # 用户的地址
            item['workaddress'] = self.get_workaddress(response)
            # 用户的内心独白
            item['soliloquy'] = self.get_soliloquy(response)
            # 用户的性别
            item['gender'] = self.get_gender(response)
            print item
            yield item
    
    
        def get_nickname(self,response):
            nickname  = response.xpath('//div[@class="info1"]/div[@class="name nickname"]/text()').extract()[0]
            if len(nickname)>0:
                 nickname = nickname.strip()
            else:
                nickname = "NULL"
            return nickname
    
        def get_loveid(self, response):
            loveid = response.xpath('//div[@class="info1"]/div[@class="loveid"]/text()').extract()[0]
            if len(loveid) > 0:
                loveid = loveid.strip()
            else:
                loveid = "NULL"
            return loveid
    
        def get_photos(self, response):
            photos = response.xpath('//div[@id="tFocus-btn"]/ul/li/img/@src').extract()
            if len(photos) > 0:
                pass
            else:
                photos = "NULL"
            return photos
    
        def get_age(self, response):
            age = response.xpath('//div[@class="info2"]/div/ul/li/text()').extract()[0]
            if len(age) > 0:
                age = age.strip()
            else:
                age = "NULL"
            return age
    
        def get_height(self, response):
            height = response.xpath('//div[@class="info2"]/div/ul/li/text()').extract()[2]
            if len(height) > 0:
                height = height.strip()
            else:
                height = "NULL"
            return height
    
        def get_ismarried(self, response):
            ismarried = response.xpath('//div[@class="info2"]/div/ul/li/text()').extract()[1]
            if len(ismarried) > 0:
                ismarried = ismarried.strip()
            else:
                ismarried = "NULL"
            return ismarried
    
        def get_yearincome(self, response):
            yearincome = response.xpath('//div[@class="info2"]/div/ul/li/text()').extract()[4]
            if len(yearincome) > 0:
                yearincome = yearincome.strip()
            else:
                yearincome = "NULL"
            return yearincome
    
        def get_education(self, response):
            education = response.xpath('//div[@class="info2"]/div/ul/li/text()').extract()[3]
            if len(education) > 0:
                education = education.strip()
            else:
                education = "NULL"
            return education
    
        def get_workaddress(self, response):
            workaddress = response.xpath('//div[@class="info2"]/div/ul/li/text()').extract()[5]
            if len(workaddress) > 0:
                workaddress = workaddress.strip()
            else:
                workaddress = "NULL"
            return workaddress
    
        def get_soliloquy(self, response):
            soliloquy = response.xpath('//div[@class="info5"]/div[@class="text"]/text()').extract()[0]
            if len(soliloquy) > 0:
                soliloquy = soliloquy.strip()
            else:
                soliloquy = "NULL"
            return soliloquy
    
        def get_gender(self, response):
            return "女"

## （2）启动工程 ##

在启动之前， 由于上一篇我们曾使用基础的redis 爬虫爬取过一次，我们先删除之前爬取的数据，在redis-manager 中删除即可。如果没有就没事。

![70 1][]

启动该工程需要两步：

第一步，先启动我们的刚才写好的爬虫程序，跟原来的启动方式不一样。

scrapy runspider 爬虫文件名.py

在我们这里就是 scrapy runspider hongniangSpider\_redis2.py ，注意不是爬虫的类名，而是文件名

当我们的爬虫启动好之后，会出现等待。在等待开始的url 到来。

第二步，在redis 中设置开始的url

先进入redis 数据库

redis-cli -h 127.0.0.1 -p 6379

![70 2][]

lpush 一下开始的url

lpush hongniang:start_urls http://xxx

![70 3][]

当我们设置成功以后，爬虫程序就开始跑起来了。

![70 4][]

我们也来看下，redis 数据库中的变化。

![70 5][]

## （3）将redis中的数据放入Mysql数据库中，保存一下 ##

【1】先新建mysql数据库表，将我们item 中的字段设置到表中：

![70 6][]

如果懒得创建，可以直接下载：[https://github.com/gengzi/hongniang/blob/master/hongniang.sql][https_github.com_gengzi_hongniang_blob_master_hongniang.sql]

【2】编写代码，这一部分跟爬虫没有关系，可以直接写在爬虫外面运行即可。看代码吧。

一共两个文件：![70 7][]

mysqlHelper.py 主要是一个工具，方便对mysql 操作。

# -*- coding:utf-8 -*-
    # Hello world - 西蒙.科泽斯 这是“向编程之神所称颂的传统咒语，愿他帮助并保佑你更好的学习这门语言
    import MySQLdb
    
    class MysqlHelper():
        """
            mysql 工具类
            2018年2月26日14:32:34
        """
        def __init__(self,host,port,db,user,passwd,charset='utf8'):
            self.host=host
            self.port=port
            self.db=db
            self.user=user
            self.passwd=passwd
            self.charset=charset
    
        def connect(self):
            self.conn=MySQLdb.connect(host=self.host,port=self.port,db=self.db,user=self.user,passwd=self.passwd,charset=self.charset)
            self.cursor=self.conn.cursor()
    
        def close(self):
            self.cursor.close()
            self.conn.close()
    
        def get_one(self,sql,params=()):
            result=None
            try:
                self.connect()
                self.cursor.execute(sql, params)
                result = self.cursor.fetchone()
                self.close()
            except Exception, e:
                print e.message
            return result
    
        def get_all(self,sql,params=()):
            list=()
            try:
                self.connect()
                self.cursor.execute(sql,params)
                list=self.cursor.fetchall()
                self.close()
            except Exception,e:
                print e.message
            return list
    
        def insert(self,sql,params=()):
            return self.__edit(sql,params)
    
        def update(self, sql, params=()):
            return self.__edit(sql, params)
    
        def delete(self, sql, params=()):
            return self.__edit(sql, params)
    
        def __edit(self,sql,params):
            count=0
            try:
                self.connect()
                count=self.cursor.execute(sql,params)
                self.conn.commit()
                self.close()
            except Exception,e:
                print e.message
            return count

ReidsToMysql.py 就是将redis 数据 转存到 mysql 中

#!/usr/bin/env python2
    # -*- coding:utf-8 -*-
    
    import redis
    import json
    from MysqlHelper import MysqlHelper
    import sys
    reload(sys)
    sys.setdefaultencoding('utf8')
    
    #获取mysql 的连接
    mysql = MysqlHelper(host='123.206.30.117',port=3306,db='pythonspider',user='root',passwd='111')
    #获取redis 的连接
    rediscli = redis.StrictRedis(host='127.0.0.1', port = 6379, db = 0)
    
    def process_redisdata():
        """
        将redis 的数据，存放到mysql中
        :return:
        """
        while True:
            # FIFO模式为 blpop，LIFO模式为 brpop，获取键值
            source, data = rediscli.blpop(["hongniangSpider:items"])
            #data = unicode(str(data).encode('utf-8'), "utf-8")
            item = json.loads(data)
            photos = ','.join(item['photos'])
            sql = 'insert into hongniang(nickname,loveid,photos,age,height,ismarried,yearincome,education,workaddress,soliloquy,gender)  ' \
                  'values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)';
            params = [str(item['nickname']),str(item['loveid']),str(photos),str(item['age'])
                        ,str(item['height']),str(item['ismarried']),str(item['yearincome']),str(item['education'])
                        , str(item['workaddress']),str(item['soliloquy']),str(item['gender'])]
    
            insertnum = mysql.insert(sql=sql,params=params)
            if insertnum > 0:
                print "成功"
    
    
    if __name__ == '__main__':
        process_redisdata()

直接运行 redistomap 这个py 文件即可。

查看我们保存的数据：

![70 8][]

## （4）总结 ##

到这里，这个爬取中国红娘相亲网站基本就结束了，写的可能不是很清楚，可以参考源码再看文章。感觉不错就点个赞吧。

有什么问题可以提出，不胜感激。

源码：[https://github.com/gengzi/hongniang][https_github.com_gengzi_hongniang]

[70]: /images/20220526/40d093e0a25a4af1ab0c8563c4d068f7.png
[70 1]: /images/20220526/4d77c74919664833b8523890128e347d.png
[70 2]: /images/20220526/c69c3149772949fc81d7e741046b68f2.png
[70 3]: /images/20220526/c6f784228ec0410e8b5107208babb143.png
[70 4]: /images/20220526/612bd2f0bb744e9fbf0f8f666226ec0c.png
[70 5]: /images/20220526/4e307916046a4ad2bb6a03ecbc4c469c.png
[70 6]: /images/20220526/4ab55d2ccbb64dfba077767ab0beeab8.png
[https_github.com_gengzi_hongniang_blob_master_hongniang.sql]: https://github.com/gengzi/hongniang/blob/master/hongniang.sql
[70 7]: /images/20220526/847b2a863b604c80bb8210a47fdfb8ce.png
[70 8]: /images/20220526/bd6b63dc36f24c4cbc733e58f90d701b.png
[https_github.com_gengzi_hongniang]: https://github.com/gengzi/hongniang