python中Xpath 易错分析

浅浅的花香味﹌ 2023-10-08 12:14 29阅读 0赞

#### 文章目录 ####

*   *   *  1、text()、string()、data()、点
         *  2、python里lxml.etree.\_Element才能使用xpath
         *  3、输出文本（text、string）
         *  4、xpath输出的是列表类型
         *  5、多个class值
         *  6、scrapy框架中的get、extract

#### 1、text()、string()、data()、点 ####

> 参考文章源：https://blog.csdn.net/weixin\_39285616/article/details/78463091

XML例子：

<table> 
 <thead> 
  <tr> 
   <th>使用举例</th> 
   <th>结果</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>book/author/text()</td> 
   <td>Tom cat</td> 
  </tr> 
  <tr> 
   <td>book/author/string()</td> 
   <td>Tom John cat</td> 
  </tr> 
  <tr> 
   <td>book/pricing/data()</td> 
   <td>返回分开的20和0.8</td> 
  </tr> 
  <tr> 
   <td>book/author/.</td> 
   <td>Tom John cat</td> 
  </tr> 
 </tbody> 
</table>

text()是一个node test，而string()、data()是一个函数，data可以保留数据类型。此外，还有点号（.）表示当前节点。

#### 2、python里lxml.etree.\_Element才能使用xpath ####

str类型的数据不能直接使用xpath，需要转换。  
包括requests.get()、requests.Session().get()得到的数据都不能直接使用xpath。  
scrapy框架里的response是可以直接使用xpath的。  
![在这里插入图片描述][20200417121741270.png]  
![在这里插入图片描述][20200417122109867.png]

#### 3、输出文本（text、string） ####

![在这里插入图片描述][20200417124735372.png]  
在XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点（或称为根节点）。  
xpath选取的元素节点不能直接输出为文本，输出文本可以有下面几种方式  
![在这里插入图片描述][20200417131145351.png]  
xpath选取的元素节点，也可以通过etree.tostring()转成str  
![在这里插入图片描述][2020041713551586.png]  
这里etree.tostring里面不加encoding = “utf-8”，输出的可能是HTML实体  
![在这里插入图片描述][2020041713572123.png]  
html实体可以通过html.unescape转换  
![在这里插入图片描述][20200417135920503.png]

#### 4、xpath输出的是列表类型 ####

不管是元素节点还是文本节点都是列表类型  
![在这里插入图片描述][20200417140313118.png]  
![在这里插入图片描述][2020041714332245.png]  
对于节点，必须先把列表序列化后再取文本，除了用切片，还可以用for in序列化  
![在这里插入图片描述][20200417140523814.png]  
![在这里插入图片描述][20200417142748958.png]  
因为xpath输出的是列表类型，所以可以用join把它转为str（前提是文本节点、元素节点不行）  
![在这里插入图片描述][20200417145753738.png]

#### 5、多个class值 ####

div\[@属性=“属性值”\]，获取div里该属性值的节点  
例如：

div[@class="a"]

如果有多个class值，例如：

div[contains(@class,"a")]

或者

div[contains(@class,"a") and contains(@class,"b")]
     #它会取class同时有a和b的元素

#### 6、scrapy框架中的get、extract ####

get() 、getall() 是新版本的方法，extract() 、extract\_first()是旧版本的方法。

前者更好用，取不到就返回None，后者取不到就raise一个错误。

推荐使用新方法，官方文档中也都改用前者了。

总结：  
对于scrapy.selector.unified.SelectorList对象

get() == extract_first()

返回的是一个list，里面包含了多个string

getall() == extract()

返回的是string，list里面第一个string

> 参考源：https://www.zhihu.com/question/63370553

[20200417121741270.png]: https://img-blog.csdnimg.cn/20200417121741270.png
[20200417122109867.png]: https://img-blog.csdnimg.cn/20200417122109867.png
[20200417124735372.png]: https://img-blog.csdnimg.cn/20200417124735372.png
[20200417131145351.png]: https://img-blog.csdnimg.cn/20200417131145351.png
[2020041713551586.png]: https://img-blog.csdnimg.cn/2020041713551586.png
[2020041713572123.png]: https://img-blog.csdnimg.cn/2020041713572123.png
[20200417135920503.png]: https://img-blog.csdnimg.cn/20200417135920503.png
[20200417140313118.png]: https://img-blog.csdnimg.cn/20200417140313118.png
[2020041714332245.png]: https://img-blog.csdnimg.cn/2020041714332245.png
[20200417140523814.png]: https://img-blog.csdnimg.cn/20200417140523814.png
[20200417142748958.png]: https://img-blog.csdnimg.cn/20200417142748958.png
[20200417145753738.png]: https://img-blog.csdnimg.cn/20200417145753738.png