xpath基本使用

﹏ヽ暗。殇╰゛Y 2021-09-30 09:36 488阅读 0赞

## xpath基本使用 ##

### 一.安装lxml包 ###

pip install lxml

### 二.使用 ###

**1.使用:**

from lxml import etree   # 导包 import requests  response = resquests.get('www.baidu.com') # 生成一个html对象 # html = etree.parse(html文档)   # 参数为 html文档 html = etree.HTML(response.text)  # 参数为字符串文本 div = html.xpath('xpath表达式')   # 返回一个文本列表

1.获取最外面标签，遍历内部所有的子标签，获取标签文本

content\_list =div.xpath('.//div\[@class="d\_post\_content j\_d\_post\_content "\]/text()').extract()

2.正则去掉所有标签 <.\*?> re.compile.sub()

content\_list=div.xpath('.//div\[@class="d\_post\_content j\_d\_post\_content "\]')

pattern=re.compile(r('<.\*?>'),re.S)

content=pattern.sub('',content\_list)

3./text() 获取标签的文本 //text()获取标签以及子标签的文本

content\_list = div.xpath(‘.//div\[@class=”d\_post\_content j\_d\_post\_content “\]//text()’).extract()

4 使用xpath(‘string(.)’)这种方式获取所有文本 并且拼接

content\_list=div.xpath('.//div\[@class="d\_post\_content j\_d\_post\_content "\]').xpath('string(.)').extract()\[0\]+'\\n'

文本内容获取之后print(content\_list)查看内容,如需处理格式,则如下:

remove = re.compile('\\s') content = '' for string in content\_list: string = remove.sub('',string) content += string

string方法: content = div.xpath('string(.//div\[@class="content"\])').strip() \# 获取该div下所有文本组成一个字符串

转载于:https://www.cnblogs.com/Deaseyy/p/11266786.html

发表评论取消回复

表情：

评论列表（有 0 条评论，488人围观）

还没有评论，来说两句吧...

相关阅读

相关 XPath 的基本概念

XPath 的基本概念引言 1. XPath 的基本概念 1.1 节点 1.2 路径表达式 1.3 轴

╰半橙微兮°/ 2024年03月17日 19:13/ 0 赞/ 89 阅读

相关 Python之xpath、JsonPath、bs4基本使用

1.xpath 1.1 xpath使用： 1. google提前安装xpath插件，按ctrl + shift + x 出现小黑框 2. 安装lxml库 `pi

太过爱你忘了你带给我的痛/ 2023年09月28日 13:07/ 0 赞/ 138 阅读

相关使用xpath

XPath是一种用来在XML文档中寻找信息的语言。它可以使用路径表达式在XML文档中选取节点。XPath还可以用来在XML文档中查询信息，如使用谓词来查找某些特定的节点。XPa

Love The Way You Lie/ 2023年09月25日 16:36/ 0 赞/ 61 阅读

相关 dom4j基本使用_xpath基本使用_junit测试

1. Java项目(Eclipse)结构 ![Center][] 2. 项目下载(0积分) [dom4j\_xpath\_j

妖狐艹你老母/ 2022年08月13日 19:57/ 0 赞/ 216 阅读

相关 XPath的使用

前言 Python爬虫框架-scrapy基础之XPath。一、什么是XPath `XPath`: 用来在xml中查找指定的元素，是一种路径表达式常用的路径

迈不过友情╰/ 2022年03月15日 16:37/ 0 赞/ 248 阅读

相关 XPath使用说明

XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 XML 实例文档我们将在下面的例

刺骨的言语ヽ痛彻心扉/ 2022年02月04日 04:53/ 0 赞/ 327 阅读

相关 xpath规范基本原则

XPath 规范基本上遵循与文件系统寻址相同的规则：如果 XPath 表达式以斜杠 (/) 开头，代表的是 XML 元素的绝对路径（从 XML 文档的根开始）。

淩亂°似流年/ 2022年02月03日 08:21/ 0 赞/ 266 阅读

相关 python爬虫之xpath的基本使用

[python爬虫之xpath的基本使用][python_xpath] 转发：https://www.cnblogs.com/lei0213/p/7506130.ht

柔光的暖阳◎/ 2021年12月02日 01:26/ 0 赞/ 397 阅读

相关使用XPath

Xpath全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜索XML文档的，但是它同样适用于HTML文档的搜索

谁践踏了优雅/ 2021年10月26日 14:40/ 0 赞/ 449 阅读

相关 xpath基本使用

xpath基本使用一.安装lxml包 pip install lxml 二.使用 1.使用: from lxml import etre

﹏ヽ暗。殇╰゛Y/ 2021年09月30日 09:36/ 0 赞/ 489 阅读