Scrapy框架中集成selenium(二)：方法一爬虫重新构造请求方法

朴灿烈づ我的快乐病毒、 2022-12-30 11:59 93阅读 0赞

# 1.集成selenium #

下载中间件的 process\_request 方法 ，它有四种返回值：

process_request() should either：
     return None, 
     return a Response object,
      return a Request object,
       or raise IgnoreRequest.

*  可以返回 None，scrapy 会继续调用其他下载中间件继续处理请求，一般修改代理 IP 或者修改请求头就使用这种方式
 *  可以返回 Response 对象，scrapy 会停止调用其他下载中间件，并且直接返回此 Response 对象
 *  可以返回 Request 对象，scrapy 会停止调用其他下载中间件，遇到需要手动重定向时或者需要发送其他请求时使用
 *  可以引发一个异常，scrapy 会自动调用异常处理函数 process\_exception 来处理，如果没有人来处理，那么请求将会被丢掉并且不进行记录

## 1.1selenium在scrapy中的使用流程： ##

1.重写爬虫文件的构造方法，在该方法中使用selenium实例化一个浏览器对象（因为浏览器对象只需要被.实例化一次）  
2.重写爬虫文件的closed(self,spider)方法，在其内部关闭浏览器对象。该方法是在爬虫结束时被调用  
3.重写下载中间件的process\_response方法，让该方法对响应对象进行拦截，并篡改response中存储的页面数据  
4.在配置文件中开启下载中间件

class WangyiSpider(RedisSpider):
        name = 'wangyi'
        #allowed_domains = ['www.xxxx.com']
        start_urls = ['https://news.163.com']
        def __init__(self):
            #实例化一个浏览器对象(实例化一次)
            self.bro = webdriver.Chrome(executable_path='/Users/bobo/Desktop/chromedriver')
    
        #必须在整个爬虫结束后，关闭浏览器
        def closed(self,spider):
            print('爬虫结束')
            self.bro.quit()

# 2.scrapy-selenium安装 #

pip install scrapy-selenium

github:[https://github.com/clemfromspace/scrapy-selenium][https_github.com_clemfromspace_scrapy-selenium]  
安装完成后，需要安装一个Chrome的driver.选择和自己的 Chrome 版本匹配的 driver 下载下来解压到 Chrome 的 Application 目录中即可。(位置自己定，但需要和配置文件统一)

## 2.1配置文件Settings.py ##

from shutil import which
     
     SELENIUM_DRIVER_NAME = 'chrome'
     SELENIUM_DRIVER_EXECUTABLE_PATH = which(r'C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe')
     SELENIUM_DRIVER_ARGUMENTS = []  # '--headless' if using chrome instead of firefox

为了方便调试，这里不使用无头参数。  
**添加下载中间件到配置文件。**

DOWNLOADER_MIDDLEWARES = {
         'scrapy_selenium.SeleniumMiddleware': 800  # 这里的数值要大一些，因为中间件返回响应对象后就不会调用后续的下载中间件了，所以要保证这个中间件是最后一个被调用的
     }

# 3.使用selenium #

## 3.1爬虫程序 ##

如果不设置等待的话，动态加载没有完成，在网页部分加载完成后就会直接返回get函数的内容。所以selenium 提供了 WebDriverWait 类来实现自动等待，等某个需要的元素被加载出来 get 函数才返回。

import scrapy
     from scrapy_selenium import SeleniumRequest
     from selenium.webdriver.common.by import By
     from selenium.webdriver.support import expected_conditions as EC
     
     
     class AntiSpider(scrapy.Spider):
         name = 'antispider'
     
         def start_requests(self):
             urls = ['https://antispider.scrape.center/']
             for a in urls:
                 yield SeleniumRequest(url=a, callback=self.parse, wait_time=3, wait_until=EC.presence_of_element_located((By.CLASS_NAME, 'm-b-sm')))
     
         def parse(self, response, **kwargs):
             print(response.text)
             input()

input 函数是为了让爬虫暂时停下来，方便查看浏览器状态，默认状态下下载队列消耗完爬虫会自动停止运行，浏览器也会一并退出，不利于调试，当然，打断点也可以达到同样的目的。

## 3.2中间件 ##

class MyDownloadMiddleware(SeleniumMiddleware):
        def __init__(self, driver_name, driver_executable_path, driver_arguments,
                     browser_executable_path):
            super(MyDownloadMiddleware, self).__init__(driver_name, driver_executable_path, driver_arguments,
                                                       browser_executable_path)
            self.driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
                "source": """
                Object.defineProperty(navigator, 'webdriver', {
                get: () => undefined
                })"""
            })

[https_github.com_clemfromspace_scrapy-selenium]: https://github.com/clemfromspace/scrapy-selenium