调试xpath的工具scrapy shell的安装与使用

蔚落 2022-05-21 03:29 179阅读 0赞

#### scrapy shell是什么？ ####

它是一种调试工具，常用来调试xpath是否正确。  它有着很智能的交互环境，可以通过tab键智能提醒。  
    使用它之间需要安装依赖包在终端输入命令如下： pip install ipython

#### scrapy shell的使用 ####

在终端下的任意位置，输入如下指令：

scrapy shell url

示例：scrapy shell http://www.gushiking.com/

response有着如下属性：  
            text    字符串类型  
            body    字节类型  
            url     请求的url  
            status  响应状态码

headers 响应头

示例：response.text

方法  
            xpath() ：提取出来的都是selector对象，需要进行extract()一下，然后再提取出来字符串  
            css() ：根据选择器进行获取指定的内容  
                ret = response.css('\#content-left > div > .author  img::attr(src)')  
                【注】这种获取属性的方式只能在scrapy中使用，bs中不能这么使用  
                ret = response.css('\#content-left > div > .author  h2::text')  
                这种方式获取到的列表，也得extract一下，才能得到想要的字符串  
    selector对象的介绍：  
    它是scrapy自己封装的一个对象，不论你上面是通过xpath还是css，获取到的都是这个对象  
     使用xpath()  、 css()时  
        extract() : 将对象直接转化为字符串  
        extract\_first() : 功能就等同于  
        extract\_first() == \[0\].extract() == extract()\[0\]

如果xpath或者css写错了，返回的是空列表，那么通过后两种方式获取的时候就会报错，但是通过extract\_first()来获取会获取到None

示例：ret = response.xpath('//div\[@class="pic"\]/div\[@class="conimg"\]/p').extract()\[0\]