【零基础学爬虫】scrapy中选择器详解

ゝ一世哀愁。 2022-04-24 08:04 321阅读 0赞

### 简介 ###

对网页解析时，不可避免需要使用选择器。本文主要介绍scrapy中的各类选择器，选择器其实就是scrapy内置selector对象：

*  xpath
 *  css  
    他们的使用和之前介绍的CSS选择器类似，[更多详细的介绍可以看下这里][Link 1]

本文介绍一个模糊的css查询：

<html>
     <head>
      <base href='http://example.com/' />
      <title>Example website</title>
     </head>
     <body>
      <div id='images'>
       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
      </div>
     </body>
    </html>
    First, let’s ope

如何选择出上面html中href属性值中包含image关键词的a标签中的src属性值？即

*  选出 a标签
 *  选出href值包含image的a标签
 *  获取img标签
 *  获取src属性的值  
    文章使用scrapy shell调试：

上面html页面网址为：  
[https://docs.scrapy.org/en/latest/\_static/selectors-sample1.html][https_docs.scrapy.org_en_latest_static_selectors-sample1.html]

执行命令进入shell环境：  
**scrapy shell [https://docs.scrapy.org/en/latest/\_static/selectors-sample1.html][https_docs.scrapy.org_en_latest_static_selectors-sample1.html]**

执行下面命令即可选中:href属性值包含image的a标签中的img标签中的src属性的值：

***response.css('a\[href*=image\] img::attr(src)’).extract()**\*

输出结果：

## ![1240][] ##

另外，scrapy还支持正则表达式的匹配，有时使用css不太好匹配，比如：匹配a标签中

\*\*Name:\*\*之后的内容：

\*\*response.css(‘a::text’).extract()\*\*不太好用

![1240 1][]

使用正则表达式可以比较方便的提取“**：**”之后的内容

**response.css(‘a::text’).re(‘Name:(.\*)’)**

![1240 2][]  
下面指令就仅仅返回第一个匹配结果

**response.css(‘a::text’).re\_first(‘Name:(.\*)’)**

--------------------

另外，还有几个比较好用的命令：

*  **view**  
    它会帮你请求一个url，并把document下载下来保存成一个文件，并自动使用浏览器打开下载的网页，打开response的预览  
    scrapy fview [http://www.baidu.com][http_www.baidu.com]  
    **fetch**  
    scrapy fetch [http://www.baidu.com][http_www.baidu.com]  
    返回网页的源码

--------------------

扫描下方二维码，**及时**获取更多**互联网求职面经**、**java**、**python**、**爬虫**、**大数据**等技术，和**海量资料分享**：公众号后台回复“**csdn**”即可免费领取【csdn】和【百度文库】下载服务；公众号后台回复“**资料**”:即可领取**5T精品学习资料**、**java面试考点**和**java面经总结**，以及**几十个java、大数据项目**，**资料很全，你想找的几乎都有**  
![扫码关注，及时获取更多精彩内容。（博主今日头条大数据工程师）][1240 3]

[Link 1]: https://docs.scrapy.org/en/latest/topics/selectors.html
[https_docs.scrapy.org_en_latest_static_selectors-sample1.html]: https://docs.scrapy.org/en/latest/_static/selectors-sample1.html
[1240]: /images/20220217/9a247613a2364391b1a4bcc6bcf2a7cb.png
[1240 1]: /images/20220217/03bd57e819d34329a3521fd7655ebd05.png
[1240 2]: /images/20220217/0e5b7ee3053940e586d9f8a3b71783ee.png
[http_www.baidu.com]: http://www.baidu.com
[1240 3]: /images/20220217/6a30d366f4114d0c94a4920b961956bf.png