python爬虫之xpath的基本使用

柔光的暖阳◎ 2021-12-02 01:26 394阅读 0赞

# [python爬虫之xpath的基本使用][python_xpath] #

##  转发：https://www.cnblogs.com/lei0213/p/7506130.html ##

**一、简介**

XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。

[参照][Link 1]

**二、安装**

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>pip3 install lxml</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

**三、使用**

**　　**1、导入

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>from</code>&nbsp; 
      <code>lxml&nbsp;</code> 
      <code>import</code>&nbsp; 
      <code>etree</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

2、基本使用

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> 
    <div>
      11 
    </div> 
    <div>
      12 
    </div> 
    <div>
      13 
    </div> 
    <div>
      14 
    </div> 
    <div>
      15 
    </div> 
    <div>
      16 
    </div> 
    <div>
      17 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>from</code>&nbsp; 
      <code>lxml&nbsp;</code> 
      <code>import</code>&nbsp; 
      <code>etree</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>wb_data&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>"""</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;div&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;ul&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li class="item-0"&gt;&lt;a href="link1.html"&gt;first item&lt;/a&gt;&lt;/li&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li class="item-1"&gt;&lt;a href="link2.html"&gt;second item&lt;/a&gt;&lt;/li&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li class="item-inactive"&gt;&lt;a href="link3.html"&gt;third item&lt;/a&gt;&lt;/li&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li class="item-1"&gt;&lt;a href="link4.html"&gt;fourth item&lt;/a&gt;&lt;/li&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li class="item-0"&gt;&lt;a href="link5.html"&gt;fifth item&lt;/a&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;/ul&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;/div&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>"""</code> 
     </div> 
     <div> 
      <code>html&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>etree.HTML(wb_data)</code> 
     </div> 
     <div> 
      <code>print</code> 
      <code>(html)</code> 
     </div> 
     <div> 
      <code>result&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>etree.tostring(html)</code> 
     </div> 
     <div> 
      <code>print</code> 
      <code>(result.decode(</code> 
      <code>"utf-8"</code> 
      <code>))</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

从下面的结果来看，我们打印机html其实就是一个python对象，etree.tostring(html)则是不全里html的基本写法，补全了缺胳膊少腿的标签。

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> 
    <div>
      11 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>&lt;Element html at&nbsp;</code> 
      <code>0x39e58f0</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>&lt;html&gt;&lt;body&gt;&lt;div&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;ul&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li&nbsp;</code> 
      <code>class</code> 
      <code>=</code> 
      <code>"item-0"</code> 
      <code>&gt;&lt;a href</code> 
      <code>=</code> 
      <code>"link1.html"</code> 
      <code>&gt;first item&lt;</code> 
      <code>/</code> 
      <code>a&gt;&lt;</code> 
      <code>/</code> 
      <code>li&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li&nbsp;</code> 
      <code>class</code> 
      <code>=</code> 
      <code>"item-1"</code> 
      <code>&gt;&lt;a href</code> 
      <code>=</code> 
      <code>"link2.html"</code> 
      <code>&gt;second item&lt;</code> 
      <code>/</code> 
      <code>a&gt;&lt;</code> 
      <code>/</code> 
      <code>li&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li&nbsp;</code> 
      <code>class</code> 
      <code>=</code> 
      <code>"item-inactive"</code> 
      <code>&gt;&lt;a href</code> 
      <code>=</code> 
      <code>"link3.html"</code> 
      <code>&gt;third item&lt;</code> 
      <code>/</code> 
      <code>a&gt;&lt;</code> 
      <code>/</code> 
      <code>li&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li&nbsp;</code> 
      <code>class</code> 
      <code>=</code> 
      <code>"item-1"</code> 
      <code>&gt;&lt;a href</code> 
      <code>=</code> 
      <code>"link4.html"</code> 
      <code>&gt;fourth item&lt;</code> 
      <code>/</code> 
      <code>a&gt;&lt;</code> 
      <code>/</code> 
      <code>li&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li&nbsp;</code> 
      <code>class</code> 
      <code>=</code> 
      <code>"item-0"</code> 
      <code>&gt;&lt;a href</code> 
      <code>=</code> 
      <code>"link5.html"</code> 
      <code>&gt;fifth item&lt;</code> 
      <code>/</code> 
      <code>a&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;</code> 
      <code>/</code> 
      <code>li&gt;&lt;</code> 
      <code>/</code> 
      <code>ul&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;</code> 
      <code>/</code> 
      <code>div&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;</code> 
      <code>/</code> 
      <code>body&gt;&lt;</code> 
      <code>/</code> 
      <code>html&gt;</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

3、获取某个标签的内容(基本使用)，注意，获取a标签的所有内容，a后面就不用再加正斜杠，否则报错。

写法一

写法二（直接在需要查找内容的标签后面加一个/text()就行）

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> 
    <div>
      11 
    </div> 
    <div>
      12 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>html&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>etree.HTML(wb_data)</code> 
     </div> 
     <div> 
      <code>html_data&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>html.xpath(</code> 
      <code>'/html/body/div/ul/li/a/text()'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>print</code> 
      <code>(html)</code> 
     </div> 
     <div> 
      <code>for</code>&nbsp; 
      <code>i&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>html_data:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>print</code> 
      <code>(i)</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>&lt;Element html at&nbsp;</code> 
      <code>0x138e4b8</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>first item</code> 
     </div> 
     <div> 
      <code>second item</code> 
     </div> 
     <div> 
      <code>third item</code> 
     </div> 
     <div> 
      <code>fourth item</code> 
     </div> 
     <div> 
      <code>fifth item</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

4、打开读取html文件

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>#使用parse打开html的文件</code> 
     </div> 
     <div> 
      <code>html&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>etree.parse(</code> 
      <code>'test.html'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>html_data&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>html.xpath(</code> 
      <code>'//*'</code> 
      <code>)&lt;br&gt;</code> 
      <code>#打印是一个列表，需要遍历</code> 
     </div> 
     <div> 
      <code>print</code> 
      <code>(html_data)</code> 
     </div> 
     <div> 
      <code>for</code>&nbsp; 
      <code>i&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>html_data:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>print</code> 
      <code>(i.text)</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> 
    <div>
      11 
    </div> 
    <div>
      12 
    </div> 
    <div>
      13 
    </div> 
    <div>
      14 
    </div> 
    <div>
      15 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>html&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>etree.parse(</code> 
      <code>'test.html'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>html_data&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>etree.tostring(html,pretty_print</code> 
      <code>=</code> 
      <code>True</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>res&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>html_data.decode(</code> 
      <code>'utf-8'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>print</code> 
      <code>(res)</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>打印：</code> 
     </div> 
     <div> 
      <code>&lt;div&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;ul&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li&nbsp;</code> 
      <code>class</code> 
      <code>=</code> 
      <code>"item-0"</code> 
      <code>&gt;&lt;a href</code> 
      <code>=</code> 
      <code>"link1.html"</code> 
      <code>&gt;first item&lt;</code> 
      <code>/</code> 
      <code>a&gt;&lt;</code> 
      <code>/</code> 
      <code>li&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li&nbsp;</code> 
      <code>class</code> 
      <code>=</code> 
      <code>"item-1"</code> 
      <code>&gt;&lt;a href</code> 
      <code>=</code> 
      <code>"link2.html"</code> 
      <code>&gt;second item&lt;</code> 
      <code>/</code> 
      <code>a&gt;&lt;</code> 
      <code>/</code> 
      <code>li&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li&nbsp;</code> 
      <code>class</code> 
      <code>=</code> 
      <code>"item-inactive"</code> 
      <code>&gt;&lt;a href</code> 
      <code>=</code> 
      <code>"link3.html"</code> 
      <code>&gt;third item&lt;</code> 
      <code>/</code> 
      <code>a&gt;&lt;</code> 
      <code>/</code> 
      <code>li&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li&nbsp;</code> 
      <code>class</code> 
      <code>=</code> 
      <code>"item-1"</code> 
      <code>&gt;&lt;a href</code> 
      <code>=</code> 
      <code>"link4.html"</code> 
      <code>&gt;fourth item&lt;</code> 
      <code>/</code> 
      <code>a&gt;&lt;</code> 
      <code>/</code> 
      <code>li&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;li&nbsp;</code> 
      <code>class</code> 
      <code>=</code> 
      <code>"item-0"</code> 
      <code>&gt;&lt;a href</code> 
      <code>=</code> 
      <code>"link5.html"</code> 
      <code>&gt;fifth item&lt;</code> 
      <code>/</code> 
      <code>a&gt;&lt;</code> 
      <code>/</code> 
      <code>li&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;</code> 
      <code>/</code> 
      <code>ul&gt;</code> 
     </div> 
     <div> 
      <code>&lt;</code> 
      <code>/</code> 
      <code>div&gt;</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

5、打印指定路径下a标签的属性（可以通过遍历拿到某个属性的值，查找标签的内容）

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> 
    <div>
      11 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>html&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>etree.HTML(wb_data)</code> 
     </div> 
     <div> 
      <code>html_data&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>html.xpath(</code> 
      <code>'/html/body/div/ul/li/a/@href'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>for</code>&nbsp; 
      <code>i&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>html_data:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>print</code> 
      <code>(i)</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>打印：</code> 
     </div> 
     <div> 
      <code>link1.html</code> 
     </div> 
     <div> 
      <code>link2.html</code> 
     </div> 
     <div> 
      <code>link3.html</code> 
     </div> 
     <div> 
      <code>link4.html</code> 
     </div> 
     <div> 
      <code>link5.html</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

6、我们知道我们使用xpath拿到得都是一个个的ElementTree对象，所以如果需要查找内容的话，还需要遍历拿到数据的列表。

查到绝对路径下a标签属性等于link2.html的内容。

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>html&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>etree.HTML(wb_data)</code> 
     </div> 
     <div> 
      <code>html_data&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>html.xpath(</code> 
      <code>'/html/body/div/ul/li/a[@href="link2.html"]/text()'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>print</code> 
      <code>(html_data)</code> 
     </div> 
     <div> 
      <code>for</code>&nbsp; 
      <code>i&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>html_data:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>print</code> 
      <code>(i)</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>打印：</code> 
     </div> 
     <div> 
      <code>[</code> 
      <code>'second item'</code> 
      <code>]</code> 
     </div> 
     <div> 
      <code>second item</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

7、上面我们找到全部都是绝对路径（每一个都是从根开始查找），下面我们查找相对路径，例如，查找所有li标签下的a标签内容。

8、上面我们使用绝对路径，查找了所有a标签的属性等于href属性值，利用的是/---绝对路径，下面我们使用相对路径，查找一下l相对路径下li标签下的a标签下的href属性的值，注意，a标签后面需要双//。

9、相对路径下跟绝对路径下查特定属性的方法类似，也可以说相同。

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>html&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>etree.HTML(wb_data)</code> 
     </div> 
     <div> 
      <code>html_data&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>html.xpath(</code> 
      <code>'//li/a[@href="link2.html"]'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>print</code> 
      <code>(html_data)</code> 
     </div> 
     <div> 
      <code>for</code>&nbsp; 
      <code>i&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>html_data:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>print</code> 
      <code>(i.text)</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>打印：</code> 
     </div> 
     <div> 
      <code>[&lt;Element a at&nbsp;</code> 
      <code>0x216e468</code> 
      <code>&gt;]</code> 
     </div> 
     <div> 
      <code>second item</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

10、查找最后一个li标签里的a标签的href属性

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>html&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>etree.HTML(wb_data)</code> 
     </div> 
     <div> 
      <code>html_data&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>html.xpath(</code> 
      <code>'//li[last()]/a/text()'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>print</code> 
      <code>(html_data)</code> 
     </div> 
     <div> 
      <code>for</code>&nbsp; 
      <code>i&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>html_data:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>print</code> 
      <code>(i)</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>打印：</code> 
     </div> 
     <div> 
      <code>[</code> 
      <code>'fifth item'</code> 
      <code>]</code> 
     </div> 
     <div> 
      <code>fifth item</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

11、查找倒数第二个li标签里的a标签的href属性

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>html&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>etree.HTML(wb_data)</code> 
     </div> 
     <div> 
      <code>html_data&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>html.xpath(</code> 
      <code>'//li[last()-1]/a/text()'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>print</code> 
      <code>(html_data)</code> 
     </div> 
     <div> 
      <code>for</code>&nbsp; 
      <code>i&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>html_data:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>print</code> 
      <code>(i)</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>打印：</code> 
     </div> 
     <div> 
      <code>[</code> 
      <code>'fourth item'</code> 
      <code>]</code> 
     </div> 
     <div> 
      <code>fourth item</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

12、如果在提取某个页面的某个标签的xpath路径的话，可以如下图：

//\*\[@id="kw"\]

解释：使用相对路径查找所有的标签，属性id等于kw的标签。

![976930-20170913161942438-1195479150.png][]

![ExpandedBlockStart.gif][]

![复制代码][copycode.gif]

#!/usr/bin/env python
    # -*- coding:utf-8 -*-
    from scrapy.selector import Selector, HtmlXPathSelector
    from scrapy.http import HtmlResponse
    html = """<!DOCTYPE html>
    <html>
        <head lang="en">
            <meta charset="UTF-8">
            <title></title>
        </head>
        <body>
            <ul>
                <li class="item-"><a id='i1' href="link.html">first item</a></li>
                <li class="item-0"><a id='i2' href="llink.html">first item</a></li>
                <li class="item-1"><a href="llink2.html">second item<span>vv</span></a></li>
            </ul>
            <div><a href="llink2.html">second item</a></div>
        </body>
    </html>
    """
    response = HtmlResponse(url='http://example.com', body=html,encoding='utf-8')
    # hxs = HtmlXPathSelector(response)
    # print(hxs)
    # hxs = Selector(response=response).xpath('//a')
    # print(hxs)
    # hxs = Selector(response=response).xpath('//a[2]')
    # print(hxs)
    # hxs = Selector(response=response).xpath('//a[@id]')
    # print(hxs)
    # hxs = Selector(response=response).xpath('//a[@id="i1"]')
    # print(hxs)
    # hxs = Selector(response=response).xpath('//a[@href="link.html"][@id="i1"]')
    # print(hxs)
    # hxs = Selector(response=response).xpath('//a[contains(@href, "link")]')
    # print(hxs)
    # hxs = Selector(response=response).xpath('//a[starts-with(@href, "link")]')
    # print(hxs)
    # hxs = Selector(response=response).xpath('//a[re:test(@id, "i\d+")]')
    # print(hxs)
    # hxs = Selector(response=response).xpath('//a[re:test(@id, "i\d+")]/text()').extract()
    # print(hxs)
    # hxs = Selector(response=response).xpath('//a[re:test(@id, "i\d+")]/@href').extract()
    # print(hxs)
    # hxs = Selector(response=response).xpath('/html/body/ul/li/a/@href').extract()
    # print(hxs)
    # hxs = Selector(response=response).xpath('//body/ul/li/a/@href').extract_first()
    # print(hxs)
     
    # ul_list = Selector(response=response).xpath('//body/ul/li')
    # for item in ul_list:
    #     v = item.xpath('./a/span')
    #     # 或
    #     # v = item.xpath('a/span')
    #     # 或
    #     # v = item.xpath('*/a/span')
    #     print(v)

![复制代码][copycode.gif]

转载于:https://www.cnblogs.com/happyyangyanghappy/p/11017883.html

[python_xpath]: https://www.cnblogs.com/lei0213/p/7506130.html
[Link 1]: http://cuiqingcai.com/2621.html
[976930-20170913161942438-1195479150.png]: /images/20211201/37dae8d2a7c2436b8b0ffdafb585e8bb.png
[ExpandedBlockStart.gif]: /images/20211201/d402b1bd77f54e8bb2be6fe853fe0103.png
[copycode.gif]: /images/20211201/e3da5f2b148441ea82256f566d903696.png