C 1. 背诵 - scrapy静态页面、js页面解析（18年7月）

ゝ一纸荒年。 2022-05-20 06:59 95阅读 0赞

# 1.1 页面解析 #

--------------------

1.  `self`的含义：  
    在Python类中规定，函数的第一个参数是实例对象本身，并且约定俗成，把其名字写为self，参考：  
    [https://blog.csdn.net/love666666shen/article/details/78189984][https_blog.csdn.net_love666666shen_article_details_78189984]

# 2 xpath常用命令 #

--------------------

1.  常用命令

# 路径
    '/html'     :html节点
    '/html/body/div/a'  : 选中div子节点中的所有a
    '//a'   :选中文档中的所有a
    '/html/body//img'   :选中body后代中的所有img
    # 文本与属性
    '//a/text()'    :选中a的所有文本
    '//div/*/img'   :选中div孙节点中的所有img
    '//img/@scr'    :选中所有Img的属性
    '//@href'   :选中所有的href属性
    # [谓语]：查找包含某个特定值的节点
    '//div[@id]'    :选中所有含有id属性的div
    '//div[@id="images"]'   :选中所有含有id属性且值为“images”的div

1.  案例

# 抓取当当畅销榜书名
    from scrapy.selector import Selector
    from scrapy.http import HtmlResponse
    import requests
    
    body = requests.get('http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-month-2018-6-1-1').text
    response = HtmlResponse(url='http://example.com', body=body, encoding='utf-8')
    
    # xpath提取信息
    name = response.xpath('//div[@class="name"]//@title').extract_first()
    print(name)
    
    # css提取信息
    name2 = response.css('div.name a::attr(title)').extract_first()
    print(name2)

# 3 css常用命令 #

--------------------

# 选中所有的img
    >>> response.css('img')
    # 选中div后代中的img（后代元素包括子代、孙代等）
    >>> response.css('div img')
    # 选中body子元素中的div元素
    >>> response.css('body>div')
    # 选中包含style属性的元素
    >>> response.css('[style]')
    # 选中属性id值为images-1的元素
    >>> response.css('[id=images-1]')
    # 选中CLASS属性包含img的a元素
    >>> response.css('a.img')
    # 选中CLASS属性包含img的元素
    >>> response.css('.img')
    # 选中所有a的文本
    >>> response.css('a::text').extract()
    # 选中所有a的href属性文本
    >>> response.css('a::attr(href)').extract()

# 4 js 页面解析 #

--------------------

1.  Splash 简介  
    Splash 是 Scrapy 官方推荐的 JavaScript 渲染引擎，是一款轻量级的无界面浏览器，类似于 PhantomJS
2.  安装  
    `pip install scrapy-splash`

## 4.1 SplashRequest 构造器参数 ##

*  scrapy\_splash中定义了一个SplashRequest类，用户只需使用scrapy\_splash.SplashRequest（替代scrapy.Request）提交请求即可。

# 情况一
    import scrapy_splash
    scrapy_splash.SplashRequest()
    
    # 情况二
    from scrapy_splash import SplashRequest
    SplashRequest()

*  下面是 SplashRequest 构造器方法中的一些常用参数。  
    
    
     *  ① url ：与scrapy.Request中的url相同，也就是待爬取页面的url（注意，不是Splash服务器地址）。
     *  ② headers: 与scrapy.Request中的headers相同。
     *  ③ cookies：与scrapy.Request中的cookies相同。
     *  ④ args：传递给Splash的参数（除url以外），如wait、timeout、images、js\_source等。

## 4.2 流程 ##

*  第一步：创建项目

$ scrapy startproject splash_examples

*  第二步：在setting.py 中对scrapy-splash 进行配置，添加内容如下：

# 1. Splash服务器地址
    SPLASH_URL = 'http://localhost:8050'
    
    # 2. 开启Splash的两个下载中间件并调整HttpCompressionMiddleware的次序
    DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
    }
    
    # 3. 设置去重过滤器
    DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
    
    # 4. 用来支持cache_args（可选）
    SPIDER_MIDDLEWARES = {
    'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
    }

*  第三步：修改Spider

# 把 ScrapyRequest(url) 改为SplashRequest(url, args={'images':0,'timeout'=3})

# 5 单词 #

--------------------

1.  extract() 提取
2.  yield 生成器

[https_blog.csdn.net_love666666shen_article_details_78189984]: https://blog.csdn.net/love666666shen/article/details/78189984