Scrapy爬虫：XPath语法

偏执的太偏执、 2022-04-11 09:56 271阅读 0赞

### Scrapy爬虫：XPath语法 ###

*  路径表达式
 *   *  路径案例
 *  谓语（Predicates）
 *   *  谓语实例
 *  选取未知节点
 *   *  实例
 *  选取若干路径
 *   *  实例
 *  Xpath轴
 *  功能函数
 *   *  注意事项：
 *  提取内容

XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。

# 路径表达式 #

<table> 
 <thead> 
  <tr> 
   <th>表达式</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>nodename</td> 
   <td>选取此节点的所有子节点。</td> 
  </tr> 
  <tr> 
   <td>/</td> 
   <td>从根节点选取。</td> 
  </tr> 
  <tr> 
   <td>//</td> 
   <td>从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。</td> 
  </tr> 
  <tr> 
   <td>.</td> 
   <td>选取当前节点。</td> 
  </tr> 
  <tr> 
   <td>…</td> 
   <td>选取当前节点的父节点。</td> 
  </tr> 
  <tr> 
   <td>@</td> 
   <td>选取属性。</td> 
  </tr> 
 </tbody> 
</table>

## 路径案例 ##

<table> 
 <thead> 
  <tr> 
   <th>路径表达式</th> 
   <th>结果</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>body</td> 
   <td>选取 body 元素的所有子节点。</td> 
  </tr> 
  <tr> 
   <td>/head</td> 
   <td>选取根元素下head。假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！</td> 
  </tr> 
  <tr> 
   <td>div/a</td> 
   <td>选取属于 div 的子元素的所有 a 元素。</td> 
  </tr> 
  <tr> 
   <td>//a</td> 
   <td>选取所有 a 子元素，而不管它们在文档中的位置。</td> 
  </tr> 
  <tr> 
   <td>div//a</td> 
   <td>选择属于 div 元素的后代的所有 a 元素，而不管它们位于 bookstore 之下的什么位置。</td> 
  </tr> 
  <tr> 
   <td>//@class</td> 
   <td>选取名为 claa 的所有属性。</td> 
  </tr> 
  <tr> 
   <td>./a</td> 
   <td>选取当前元素下的a</td> 
  </tr> 
  <tr> 
   <td>…/a</td> 
   <td>选取父元素下的a</td> 
  </tr> 
  <tr> 
   <td>a/@href</td> 
   <td>选取a标签的href属性</td> 
  </tr> 
  <tr> 
   <td>a/text()</td> 
   <td>选取a标签下的文本</td> 
  </tr> 
 </tbody> 
</table>

# 谓语（Predicates） #

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

谓语被嵌在方括号中。

## 谓语实例 ##

在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

<table> 
 <thead> 
  <tr> 
   <th>路径表达式</th> 
   <th>结果</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>/body/div[1]</td> 
   <td>选取属于 body 子元素的第一个 div 元素。</td> 
  </tr> 
  <tr> 
   <td>/body/div[last()]</td> 
   <td>选取属于 body 子元素的最后一个 div 元素。</td> 
  </tr> 
  <tr> 
   <td>/body/div[last()-1]</td> 
   <td>选取属于 body 子元素的倒数第二个 div 元素。</td> 
  </tr> 
  <tr> 
   <td>/body/div[position()&lt; 3 ]</td> 
   <td>选取最前面的两个属于 bookstore 元素的子元素的 book 元素。</td> 
  </tr> 
  <tr> 
   <td>//div[@id]</td> 
   <td>选取所有拥有名为 id 的属性的 div 元素。</td> 
  </tr> 
  <tr> 
   <td>//div[@class=‘eng’]</td> 
   <td>选取所有 div 元素，且这些元素拥有值为 eng 的 class 属性。</td> 
  </tr> 
  <tr> 
   <td>/body/span[size&gt;35.00]</td> 
   <td>选取 body 元素的所有 span 元素，且其中的 size 元素的值须大于 35.00。</td> 
  </tr> 
  <tr> 
   <td>/body/span[size&gt;35.00]/title</td> 
   <td>选取 body 元素中的 span 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。</td> 
  </tr> 
 </tbody> 
</table>

# 选取未知节点 #

XPath 通配符可用来选取未知的 XML 元素。

<table> 
 <thead> 
  <tr> 
   <th>通配符</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>*</td> 
   <td>匹配任何元素节点。</td> 
  </tr> 
  <tr> 
   <td>@*</td> 
   <td>匹配任何属性节点。</td> 
  </tr> 
  <tr> 
   <td>node()</td> 
   <td>匹配任何类型的节点。</td> 
  </tr> 
 </tbody> 
</table>

## 实例 ##

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式 | 结果  
/body/\* | 选取 body 元素的所有子元素。  
//\* |选取文档中的所有元素。  
//title\[@\*\] |选取所有带有属性的 title 元素。

# 选取若干路径 #

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

## 实例 ##

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

<table> 
 <thead> 
  <tr> 
   <th>路径表达式</th> 
   <th>结果</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>//head/title | //head/price</td> 
   <td>选取 head 元素的所有 title 和 price 元素。</td> 
  </tr> 
  <tr> 
   <td>//title | //price</td> 
   <td>选取文档中的所有 title 和 price 元素。</td> 
  </tr> 
  <tr> 
   <td>/body/book/title | //price</td> 
   <td>选取属于 body 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。</td> 
  </tr> 
 </tbody> 
</table>

# Xpath轴 #

轴可以定义相对于当前节点的节点集

<table> 
 <thead> 
  <tr> 
   <th align="center">轴名称</th> 
   <th align="center">表达式</th> 
   <th align="center">描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">ancestor</td> 
   <td align="center">./ancestor::<sup>*</sup></td> 
   <td align="center">选取当前节点的所有先辈节点（父、祖父）</td> 
  </tr> 
  <tr> 
   <td align="center">ancestor-or-self</td> 
   <td align="center">./ancestor-or-self::<sup>*</sup></td> 
   <td align="center">选取当前节点的所有先辈节点以及节点本身</td> 
  </tr> 
  <tr> 
   <td align="center">descendant</td> 
   <td align="center">./descendant::<sup>*</sup></td> 
   <td align="center">返回当前节点的所有后代节点（子节点、孙节点）</td> 
  </tr> 
  <tr> 
   <td align="center">child</td> 
   <td align="center">./child::<sup>*</sup></td> 
   <td align="center">返回当前节点的所有子节点</td> 
  </tr> 
  <tr> 
   <td align="center">parent</td> 
   <td align="center">./parent::<sup>*</sup></td> 
   <td align="center">选取当前节点的父节点</td> 
  </tr> 
  <tr> 
   <td align="center">following</td> 
   <td align="center">./following::<sup>*</sup></td> 
   <td align="center">选取文档中当前节点结束标签后的所有节点</td> 
  </tr> 
  <tr> 
   <td align="center">following-sibling</td> 
   <td align="center">./following-sibling::<sup>*</sup></td> 
   <td align="center">选取当前节点之后的兄弟节点</td> 
  </tr> 
  <tr> 
   <td align="center">preceding</td> 
   <td align="center">./preceding::<sup>*</sup></td> 
   <td align="center">选取文档中当前节点开始标签前的所有节点</td> 
  </tr> 
  <tr> 
   <td align="center">preceding-sibling</td> 
   <td align="center">./preceding-sibling::<sup>*</sup></td> 
   <td align="center">选取当前节点之前的兄弟节点</td> 
  </tr> 
  <tr> 
   <td align="center">self</td> 
   <td align="center">./self::<sup>*</sup></td> 
   <td align="center">选取当前节点</td> 
  </tr> 
  <tr> 
   <td align="center">attribute</td> 
   <td align="center">./attribute::<sup>*</sup></td> 
   <td align="center">选取当前节点的所有属性</td> 
  </tr> 
 </tbody> 
</table>

# 功能函数 #

使用功能函数能够更好的进行模糊搜索

<table> 
 <thead> 
  <tr> 
   <th align="center">函数</th> 
   <th align="center">用法</th> 
   <th align="center">解释</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">starts-with</td> 
   <td align="center">//div[starts-with(@id,”ma”)]</td> 
   <td align="center">选取id值以ma开头的div节点</td> 
  </tr> 
  <tr> 
   <td align="center">contains</td> 
   <td align="center">//div[contains(@id,”ma”)]</td> 
   <td align="center">选取所有id值包含ma的div节点</td> 
  </tr> 
  <tr> 
   <td align="center">and</td> 
   <td align="center">//div[contains(@id,”ma”) and contains(@id,”in”)]</td> 
   <td align="center">选取id值包含ma和in的div节点</td> 
  </tr> 
  <tr> 
   <td align="center">text()</td> 
   <td align="center">//div[contains(text(),”ma”)]</td> 
   <td align="center">选取节点文本包含ma的div节点</td> 
  </tr> 
 </tbody> 
</table>

## 注意事项： ##

1.  按照审查元素的写法不一定正确，要按照网页源码的才行,因为不一样，网页源码才是你看到的  
    2.浏览器有自带的复制xpath功能，firefox下载firebug插件
2.  xpath有c的速度，所以按照\[@class=""\]准确性较高

# 提取内容 #

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>返回</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Selector.xpath()</td> 
   <td>返回SelectorList对象</td> 
  </tr> 
  <tr> 
   <td>Selector.css()</td> 
   <td>返回SelectorList对象</td> 
  </tr> 
  <tr> 
   <td>SelectorList.extract()</td> 
   <td>返回List对象</td> 
  </tr> 
  <tr> 
   <td>SelectorList.extract_first(default)</td> 
   <td>返回String对象，可以有默认值，类似dict.get(key, default)</td> 
  </tr> 
 </tbody> 
</table>