爬虫解析库xpath

清疚 2023-08-17 17:45 154阅读 0赞

\# xpath简介

XPath即为[XML][]路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。用于在 XML 文档中通过元素和属性进行导航。

XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。起初XPath的提出的初衷是将其作为一个通用的、介于[XPointer][]与[XSL][]间的语法模型。但是XPath很快的被开发者采用来当作小型[查询语言][Link 1]。

# xpath术语 #

## 节点 ##

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。

## 节点关系 ##

### 父（Parent） ###

每个元素以及属性都有一个父。

在下面的例子中，book 元素是 title、author、year 以及 price 元素的父：

<book>
 <title>Harry Potter</title>
 <author>J K. Rowling</author>
 <year>2005</year>
 <price>29.99</price>
 </book>

### 子（Children） ###

元素节点可有零个、一个或多个子。

在下面的例子中，title、author、year 以及 price 元素都是 book 元素的子：

<book>
 <title>Harry Potter</title>
 <author>J K. Rowling</author>
 <year>2005</year>
 <price>29.99</price>
 </book>

### 同胞（Sibling） ###

拥有相同的父的节点

在下面的例子中，title、author、year 以及 price 元素都是同胞：

<book>
 <title>Harry Potter</title>
 <author>J K. Rowling</author>
 <year>2005</year>
 <price>29.99</price>
 </book>

### 先辈（Ancestor） ###

某节点的父、父的父，等等。

在下面的例子中，title 元素的先辈是 book 元素和 bookstore 元素：

<bookstore>
 
 <book>
 <title>Harry Potter</title>
 <author>J K. Rowling</author>
 <year>2005</year>
 <price>29.99</price>
 </book>
 
 </bookstore>

### 后代（Descendant） ###

某个节点的子，子的子，等等。

在下面的例子中，bookstore 的后代是 book、title、author、year 以及 price 元素：

<bookstore>
 
 <book>
 <title>Harry Potter</title>
 <author>J K. Rowling</author>
 <year>2005</year>
 <price>29.99</price>
 </book>
 
 </bookstore>

# xpath语法 #

### 选取节点 ###

选取节点 XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。

下面列出了最有用的路径表达式：

<table> 
 <thead> 
 <tr> 
 <th>表达式</th> 
 <th>描述</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>nodename</td> 
 <td>选取此节点的所有子节点</td> 
 </tr> 
 <tr> 
 <td>/</td> 
 <td>从根节点选取</td> 
 </tr> 
 <tr> 
 <td>//</td> 
 <td>从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置</td> 
 </tr> 
 <tr> 
 <td>.</td> 
 <td>选取当前节点。</td> 
 </tr> 
 <tr> 
 <td>..</td> 
 <td>选取当前节点的父节点。</td> 
 </tr> 
 <tr> 
 <td>@</td> 
 <td>选取属性。</td> 
 </tr> 
 </tbody> 
</table>

实例：

<table> 
 <thead> 
 <tr> 
 <th>路径表达式</th> 
 <th>结果</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>bookstore</td> 
 <td>选取 bookstore 元素的所有子节点。</td> 
 </tr> 
 <tr> 
 <td>/bookstore</td> 
 <td>选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！</td> 
 </tr> 
 <tr> 
 <td>bookstore/book</td> 
 <td>选取属于 bookstore 的子元素的所有 book 元素。</td> 
 </tr> 
 <tr> 
 <td>//book</td> 
 <td>选取所有 book 子元素，而不管它们在文档中的位置。</td> 
 </tr> 
 <tr> 
 <td>bookstore//book</td> 
 <td>选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。</td> 
 </tr> 
 <tr> 
 <td>//@lang</td> 
 <td>选取名为 lang 的所有属性。</td> 
 </tr> 
 </tbody> 
</table>

## 谓语（Predicates） ##

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

谓语被嵌在方括号中。

### 实例 ###

在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

<table> 
 <thead> 
 <tr> 
 <th>路径表达式</th> 
 <th>结果</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>/bookstore/book[1]</td> 
 <td>选取属于 bookstore 子元素的第一个 book 元素。</td> 
 </tr> 
 <tr> 
 <td>/bookstore/book[last()]</td> 
 <td>选取属于 bookstore 子元素的最后一个 book 元素。</td> 
 </tr> 
 <tr> 
 <td>/bookstore/book[last()-1]</td> 
 <td>选取属于 bookstore 子元素的倒数第二个 book 元素。</td> 
 </tr> 
 <tr> 
 <td>/bookstore/book[position()&lt;3]</td> 
 <td>选取最前面的两个属于 bookstore 元素的子元素的 book 元素。</td> 
 </tr> 
 <tr> 
 <td>//title[@lang]</td> 
 <td>选取所有拥有名为 lang 的属性的 title 元素。</td> 
 </tr> 
 <tr> 
 <td>//title[@lang='eng']</td> 
 <td>选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。</td> 
 </tr> 
 <tr> 
 <td>/bookstore/book[price&gt;35.00]</td> 
 <td>选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。</td> 
 </tr> 
 <tr> 
 <td>/bookstore/book[price&gt;35.00]/title</td> 
 <td>选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。</td> 
 </tr> 
 </tbody> 
</table>

## 选取未知节点 ##

XPath 通配符可用来选取未知的 XML 元素。

<table> 
 <thead> 
 <tr> 
 <th>通配符</th> 
 <th>描述</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>*</td> 
 <td>匹配任何元素节点。</td> 
 </tr> 
 <tr> 
 <td>@*</td> 
 <td>匹配任何属性节点。</td> 
 </tr> 
 <tr> 
 <td>node()</td> 
 <td>匹配任何类型的节点。</td> 
 </tr> 
 </tbody> 
</table>

### 实例 ###

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

<table> 
 <thead> 
 <tr> 
 <th>路径表达式</th> 
 <th>结果</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>/bookstore/*</td> 
 <td>选取 bookstore 元素的所有子元素。</td> 
 </tr> 
 <tr> 
 <td>//*</td> 
 <td>选取文档中的所有元素。</td> 
 </tr> 
 <tr> 
 <td>//title[@*]</td> 
 <td>选取所有带有属性的 title 元素。</td> 
 </tr> 
 </tbody> 
</table>

## 选取若干路径 ##

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

### 实例 ###

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

<table> 
 <thead> 
 <tr> 
 <th>路径表达式</th> 
 <th>结果</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>//book/title | //book/price</td> 
 <td>选取 book 元素的所有 title 和 price 元素。</td> 
 </tr> 
 <tr> 
 <td>//title | //price</td> 
 <td>选取文档中的所有 title 和 price 元素。</td> 
 </tr> 
 <tr> 
 <td>/bookstore/book/title | //price</td> 
 <td>选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。</td> 
 </tr> 
 </tbody> 
</table>

# xpath具体使用 #

环境安装： pip install lxml

解析原理：

*  实例化一个etree类型的对象，且将即将被解析的页面源码数据加载到该对象中
 *  调用该对象的xpath方法结合着不同的xpath表达式进行标签定位和数据提取

实例化对象： etree.parse(fileName) etree.HTML(page\_text)

使用方法：xpath返回的一定是一个列表

*  表达式最左侧/和//区别
 *  非最左侧的/和//区别
 *  属性定位：//div\[@class="name"\]
 *  索引定位：//div\[2\]
 *  /text()和//text()
 *  div/a/@href

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

<html lang="en">
 <head>
 <meta charset="UTF-8" />
 <title>测试bs4</title>
 </head>
 <body>
 <div>
 百里守约
 </div>
 <div class="song">
 李清照
 王安石
 苏轼
 柳宗元
 <a href="http://www.song.com/" title="赵匡胤" target="_self">
 this is span
 宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a>
 <a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>
 <img src="http://www.baidu.com/meinv.jpg" alt="" />
 </div>
 <div class="tang">
 <ul>
 <li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>
 <li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>
 <li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
 <li><a href="http://www.sina.com" class="du">杜甫</a></li>
 <li><a href="http://www.dudu.com" class="du">杜牧</a></li>
 <li>杜小月</li>
 <li>度蜜月</li>
 <li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
 </ul>
 </div>
 </body>
 </html>

test.html

实例化一个tree对象

from lxml import etree
    tree = etree.parse("test.html")

1.基于标签定位的xpath表达式

*  xpath方法返回值永远是一个列表
 *  xpath表达式中最左侧的/和//的区别
    
     *  /表示我们必须从根标签进行定位
     *  //表示我们可以定义任意位置的标签

tree.xpath("/html/head/meta")
 # [<Element meta at 0x1bd33576f08>]
 
 tree.xpath("//meta")
 # [<Element meta at 0x1bd33576f08>]

查找到多个

tree.xpath("//div")

输出

[<Element div at 0x1bd3223c048>,
 <Element div at 0x1bd33584148>,
 <Element div at 0x1bd33584ac8>]

2.属性定位

tree.xpath("//div[@class='song']")
 # [<Element div at 0x1bd33584148>]

3.索引定位

*  索引值是从1开始

*  在xpath表达式中非最左侧的/和//的区别
    
     *  /表示一个层级
     *  //表示多个层级

tree.xpath("//div[@class='tang']/ul/li[3]")
 # [<Element li at 0x1bd335849c8>]
 
 tree.xpath("//div[@class='tang']//li[3]")

4.取文本

*  /text():获取的是标签下直系的文本数据
 *  //text():获取的标签下所有的文本数据

tree.xpath("//div[@class='tang']//li[5]/a/text()")
    # ['杜牧']

获取多个文本

string_list = tree.xpath("//div[@class='tang']//text()")
    "".join(string_list).replace("\n","").replace("\t","")
    # '清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君杜甫杜牧杜小月度蜜月凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘'

5.取属性

*  获取的也是一个列表

tree.xpath("//div[@class='tang']//li[5]/a/@href")
    # ['http://www.dudu.com']

## 实例 ##

*  需求：爬取boss中的岗位信息（岗位名称，薪资，公司名称，岗位描述）

url = "https://www.zhipin.com/job_detail/?query=python爬虫&page=%d"
    f = open("boss.txt","w",encoding="utf-8")
    
    for page in range(1,2):
        new_url = format(url%page)
        page_text = requests.get(url=new_url,headers=headers).text
        # xpath的数据解析
        tree = etree.HTML(page_text)  # tree中存储的是整张页面中对应的页面源代码
        li_list = tree.xpath("//div[@id='main']//div[@class='job-list']//li")
        # 遍历每个职位信息所在的li标签
        for li in li_list:
            job_name = li.xpath("./div/div[1]//a/div[@class='job-title']/text()")[0]
            salary = li.xpath("./div/div[1]//a/span/text()")[0]
            detail_url ='https://www.zhipin.com' + li.xpath("./div/div[1]//a/@href")[0]
            company_name = li.xpath("./div/div[2]/div[@class='company-text']/h3/a/text()")[0]
            print(job_name,salary,detail_url,company_name)
            
            # 获取职位详细要求
            detail_page_text = requests.get(url=detail_url,headers=headers).text
            detail_tree = etree.HTML(detail_page_text)
            job_desc = detail_tree.xpath('//*[@id="main"]/div[3]/div/div[2]/div[2]/div[1]/div/text()')
            job_desc = ''.join(job_desc)
            f.write(job_name+":"+salary+":"+company_name+":"+job_desc+"\n\n")
    f.close()

转载于:https://www.cnblogs.com/ryxiong-blog/p/11305995.html

[XML]: https://baike.baidu.com/item/XML
[XPointer]: https://baike.baidu.com/item/XPointer
[XSL]: https://baike.baidu.com/item/XSL
[Link 1]: https://baike.baidu.com/item/%E6%9F%A5%E8%AF%A2%E8%AF%AD%E8%A8%80
[ContractedBlock.gif]: https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif
[ExpandedBlockStart.gif]: /images/20230808/37bb3f391c264e1b82c9783ac104b3da.png