Python学习之html解析方法

迷南。 2024-03-27 11:38 53阅读 0赞

转自：[微点阅读][Link 1] [https://www.weidianyuedu.com][Link 1]

一、强大的[BeautifulSoup][]：[BeautifulSoup][]是一个可以从html或xml文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航、查找、修改文档的方式。在Python开发中，主要用的是BeautifulSoup的查找提取功能，修改功能很少使用

1、安装BeautifulSoup

pip3 install beautifulsoup4

2、安装第三方html解析器lxml

pip3 install lxml

3、安装纯Python实现的html5lib解析器

pip3 install html5lib

二、BeautifulSoup的使用：

1、导入bs4库

frombs4 import BeautifulSoup \#导入bs4库

2、创建包含html代码的字符串

html\_str= """

<html><head><title>TheDormouse"s story</title></head>

<body>

<pclass="title"><b>The Dormouse"s stopy</b></p>

<pclass="story">Once upon a time there were three littlesisters;and their names where

<ahref="[http://example.com/elsie"][http_example.com_elsie] class="sister"id="link1"></a>

"""

3、创建BeautifulSoup对象

（1）直接通过字符串方式创建

soup= BeautifulSoup(html\_str,"lxml")\#html.parser是解析器，也可是lxml

print(soup.prettify())------>输出soup对象的内容

（2）通过已有的文件来创建

soup= BeautifulSoup(open("/home/index.html"),features="html.parser")\#html.parser是解析器，也可是lxml

4、BeautifulSoup对象的种类：BeautifulSoup将复杂HTML文档转换成一个复杂的树形结构，每个节点都是Python对象

（1）BeautifulSoup：表示的是一个文档的全部内容。大部分时候，可以把它当作Tag对象，是一个特殊的Tag，因为BeautifulSoup对象并不是真正的HTML和[XML][]，所以没有name和attribute属性

（2）Tag：与XML或HTML原生文档中的Tag相同，通俗讲就是标记

如：

抽取title：print（soup.title）

抽取a：print（soup.a）

抽取p：print（soup.p）

Tag中有两个重要的属性：name和attributes。每个Tag都有自己的名字，通过.name来获取

print（soup.title.name）

操作Tag属性的方法和操作字典相同

如：<pclass=’p1’>Hello World</p>

print（soup.p\[‘class’\]）

也可以直接“点”取属性，如 .attrs获取Tag中所有属性

print（soup.p.attrs）

（3）NavigableString：获取标记内部的文字.string

BeautifulSoup用NavigableString类来封装Tag中的字符串，一个NavigableString字符串与Python中的Unicode字符串相同，通过unicode（）方法可以直接将NavigableString对象转换成Unicode字符串

如：u\_string= unicode(soup.p.string)

（4）Comment：对于一些特殊对象，如果不清楚这个标记.string的情况下，可能造成数据提取混乱。因此在提取字符串时，可以判断下类型：

if type(soup.a.string) == bs4.element.Comment:

print(soup.a.string)

5、遍历文档

（1）子节点：

A、对于直接子节点可以通过.contents和 .children来访问

.contents---->将Tag子节点以列表的方式输出

print（soup.head.contents）

.children----->返回一个生成器，对Tag子节点进行循环

for child in soup.head.children:

print（child）

B、获取子节点的内容

.string --->如果标记里没有标记了，则返回内容；如果标记里只有一个唯一的标记，则返回最里面的内容；如果包含多个子节点，Tag无法确定.string方法应该返回哪个时，则返回None

.strings---->主要应用于Tag中包含多个字符串的情况，可以进行循环遍历

for str in soup.strings:

print（repr(str)）

.stripped\_string----->可以去掉字符串中包含的空格或空行

for str in soup.stripped\_strings:

print(repr(str))

（2）父节点

A、通过.parent属性来获取某个元素的父节点，如：

print（soup.title.parent）

B、通过.parents属性可以递归得到元素的所有父辈节点

for parent in soup.a.parents:

if parent is None:

print(parent)

else:

print(parent.name)

（3）兄弟节点

.next\_sibling----->获取该节点的下一个兄弟节点

.previous\_sibling ----->获取该节点的上一个兄弟节点

（4）前后节点

.next\_elements ----->获得该节点前面的所有节点

.previous\_elements ----->获得该节点后面的所有节点

6、搜索文档树

（1）find\_all(name,attrs,recursive,text,\*\*kwargs)

A、name参数：查找名字为name的标记

print（soup.find\_all(‘‘’’b)）

B、text参数：查找文档中字符串的内容

C、recursive参数：检索当前Tag的所有子孙节点时，若只想找直接子节点， 该参数设置为False

7、CSS选择器：使用soup.select()函数

（1）通过标记名查找

print（soup.select("title")）

（2）通过Tag的class属性值查找

print（soup.select(".sister")）

（3）通过Tag的id属性值查找

print（soup.select("\#sister")）

（4）通过是否存在某个属性查找

print（soup.select("a\[href\]")）

（5）通过属性值查找

print（soup.select("a\[href=""\]")）

[Link 1]: https://www.weidianyuedu.com/
[BeautifulSoup]: https://so.csdn.net/so/search?q=BeautifulSoup&spm=1001.2101.3001.7020
[http_example.com_elsie]: http://example.com/elsie
[XML]: https://so.csdn.net/so/search?q=XML&spm=1001.2101.3001.7020

Python学习之html解析方法

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 Python中html解析方法介绍

相关 Python学习之html解析方法

相关 Python编程之HTML解析方法

相关 Python中利用xpath解析HTML的方法

相关使用BeautifulSoup进行HTML解析（Python）

相关 python 解析html xml最好的模块,Python 解析 XML 文件生成 HTML

相关 HTML解析之BeautifulSoup

相关 python 解析HTML（附通过例子）

相关 Python 抓取解析HTML

相关 Python对html解析(BeautifulSoup)