【笔记】python爬虫实战1 lxml模块 xPath语法实例：爬取豆瓣网站

Love The Way You Lie 2023-01-22 12:50 140阅读 0赞

# 语法 #

lxml是python的一个解析库，支持HTML 和XML的解析，支持XPath解析方式而且解析效率非常高  
XPath是一门在xml文档中查找信息的语言，最初适用于搜索XML的文档，但也适用于HTML文档的搜索

## 4-1使用xpath解析字符串 ##

from lxml import etree							#导入lxml
    text=''' <div> <ul> <li class="item-1"><a href="link1.html">第一个</a></li> <li class="item-2"><a href="link2.html">second item</a></li> <li class="item-3"><a href="link3.html">a属性</a> </ul> </div> '''											#定义字符串
    html=etree.HTML(text)							#初始化生成一个XPath解析对象
    result=etree.tostring(html,encoding='utf-8')			#解析对象输出代码
    print(type(html))
    print(type(result))
    print(result.decode('utf-8'))

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70]  
以上代码调用etree对象的HTML()方法将定义的字符串转化为一个XPath解析对象，之后调用etree对象的tostring()方法解析对象并输出代码  
print(type(html))：  
<class ‘lxml.etree.\_Element’>

## 使用lxml解析html文件 ##

先保存一份text.xml文件：

<div>
    	<ul>
    		<li class="item-0"><a href="link1.html">first item</a></li>
    		<li class="item-1"><a href="link2.html">second item</a></li>
    		<li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
    		<li class="item-1"><a href="link4.html">fourth item</a></li>
    		<li class="item-0"><a href="link5.html">fifth item</a></li>
    	</ul>
    </div>

使用lxml来解析文件：

htmlEmt = etree.parse('text.xml') #用etree的parse()方法解析xml文件
    result = etree.tostring(htmlEmt,pretty_print=True) #设置优化输出
    print(result)

![在这里插入图片描述][202105200003434.png]  
如果不设置pretty\_print则输出的结果：  
![在这里插入图片描述][20210520000414335.png]

## 获取所有的 <\\li> 标签 /倒数第x个li标签 ##

from lxml import etree
    htmlEmt = etree.parse('text.xml')			# 获取文件元素
    result = htmlEmt.xpath('//li')				# 获取所有的 <li> 标签 
    print(result)							#输出所有内容
    print(len(result))						# 获取标签数量
    print(result[0])							# 取出第一个 li 标签

htmlEmt = etree.parse('text.xml') #用etree的parse()方法解析xml文件
    result = htmlEmt.xpath('//li/@class') #//li/@class表示获取li标签下所有class属性
    print(result)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 1]  
‘//li/a//@class’ 表示获取不包括<li 标签本身的class  
‘//li\[last()\]/a/@href’ 表示获取最后一个<li标签的< a>标签的href  
![在这里插入图片描述][20210520001321278.png]

# 实例 #

代码：

import requests										#导入requests模块
    from lxml import etree								#导入lxml
    headers = { 
        "User-Agentv": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3554.0 Safari/537.36",
        "Referer": "https://movie.douban.com/",
    }												# 请求头设置
    url = "https://movie.douban.com/cinema/nowplaying/chongqing/"	#定义请求URL
    rep = requests.get(url, headers=headers)					#发起请求
    text = rep.text										#返回Unicode型数据
    html = etree.HTML(text)								# 转换成html格式
    ul = html.xpath("//ul[@class='lists']")[0]					# 找到子孙节点ul标签
    lis = ul.xpath("./li")									# 当前ul下的所有li标签
    movies = []										#空列表
    for li in lis:											# 循环每个li标签
        title = li.xpath("@data-title")[0]						# 直接@li标签的属性获取值
        score = li.xpath("@data-score")[0]
        region = li.xpath("@data-region")[0]
        actors = li.xpath("@data-actors")[0]
        director = li.xpath("@data-director")[0]
        liimg = li.xpath(".//img/@src")
        movie = { 
            "title": title,
            "score": score,
            "region": region,
            "actors": actors,
            "director": director,
            "liimg": liimg,
        }											#字典数据
        movies.append(movie)							#添加到列表
    print(movies)										#输出结果

ps:以上的代码运行会报错，暂时没找出解决方法  
![在这里插入图片描述][20210520013058818.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70]: /images/20221020/722aa00eb001470ba0376a3cbb1f1e8b.png
[202105200003434.png]: /images/20221020/8857a6f13a044bdb919195b0029cd977.png
[20210520000414335.png]: /images/20221020/39e9ab543b1a442dae524c8ddbf0781f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 1]: /images/20221020/46181f7bdc0c40b7babd18f25e9366e2.png
[20210520001321278.png]: /images/20221020/46ba301a58ae46ac8452c96628b24418.png
[20210520013058818.png]: /images/20221020/5df02a63232f43b38fead9ef0deb6b06.png