Python中使用HTMLParser解析HTML文档

电玩女神 2022-09-24 00:25 287阅读 0赞

> HTMLParser是Python自带的模块，使用简单，能够很容易的实现HTML文件的分析，是一个处理HTML的简便途径。
> 
> 使用时需要定义一个继承HTMLParser的类，并重定义需要的成员函数以实现需要功能。
> 
> HTMLParser实例中几个常用方法：
> 
>     #为解析器提供一些数据，数据格式必须是str
>     HTMLParser.feed(data)	
>     
>     #重置实例
>     HTMLParser.reset()	
>     
>     #处理开始标签 如：<div id="main"> 其中参数对应信息为handle_starttag('id', [('id', 'main')])
>     HTMLParser.handle_starttag(tag, attrs)
>     
>     #处理结束标签 如：</div>	
>     HTMLParser.handle_endtag(tag)	
>     
>     #处理开始标签和结束标签
>     HTMLParser.handle_startendtag(tag, attrs)	
>     
>     #处理一对闭合标签内的text数据 如：<td>G123</td>中的G123
>     HTMLParser.handle_data(data)	
>     
>     #处理文档中的注释 如： 
>     HTMLParser.handle_comment(data)	
>     
>     #处理文档声明信息 如：<!DOCTYPE html>
>     HTMLParser.handle_decl(decl)
> 
> 其中，tag是的html标签名，attrs是 元素为(属性，值)元组(tuple)的列表(list)，data是字符串(str)。
> 
> HTMLParser自动将tag和attrs都转为小写。
> 
>   
> 
> 
> 下面以[http://qq.ip138.com/train/anhui/HeFei.htm][http_qq.ip138.com_train_anhui_HeFei.htm]页面的数据为例，解析其中的车次信息，页面信息如下图：
> 
> ![20160721222151166][]  
> 
> 
> 具体程序：
> 
>     #encoding:utf-8
>     '''
>     Created on 2016年7月21日
>     python version 3.5
>     @author: baalhuo
>     '''
>     
>     from html.parser import HTMLParser
>     import urllib.request
>     import re
>     
>     liststr = list()	#创建list存放车次信息
>     
>     class MyHTMLParser(HTMLParser):
>         tempstr=str()
>         def handle_starttag(self, tag, attrs):
>             if tag=='tr':
>                 self.tempstr=''
>     
>         def handle_endtag(self, tag):
>             if tag=='tr':
>     			 #匹配列车类型 过滤无用的tr标签
>                 matchObj = re.match( r'G|D|K|T|Z|\d', self.tempstr)
>                 if matchObj:
>                     liststr.append(self.tempstr)
>     
>         def handle_data(self, data):
>             if(data.isspace()==False):
>                 self.tempstr+=data+'\t'
>     
>     url = 'http://qq.ip138.com/train/anhui/HeFei.htm'
>     data = urllib.request.urlopen(url).read()
>     data = data.decode('gb2312') #根据抓取页面设置数据编码
>     par = MyHTMLParser()
>     par.feed(data)
>     for value in liststr:
>         print(value)
>     print(liststr.__len__())
> 
> 结果输出：
> 
>     1151/1154	普快	杭州	12:40	合肥	当天18:45	18:57	西安	10:42	
>     1152/1153	普快	西安	13:23	合肥	第2日04:59	05:15	杭州	11:19	
>     2275/2278	普快	郑州	23:52	合肥	第2日07:55	08:08	杭州	14:06	
>     2276/2277	普快	杭州	15:31	合肥	当天21:42	21:58	郑州	07:54	
>     G1271/G1274	高速动车	武汉	07:51	合肥	当天10:24	10:44	沈阳北	18:59	
>     G1272/G1273	高速动车	沈阳北	07:39	合肥	当天16:21	16:38	武汉	19:06	
>     G257/G260	高速动车	青岛	15:19	合肥	当天20:39	20:55	武汉	23:12
>     ......
>     ......
>     T64	空调特快	合肥	18:40	合肥	当天18:40	18:40	北京	05:56	
>     Z225/Z228	直达特快	北京	21:50	合肥	第2日07:32	07:32	合肥	07:32	
>     Z226/Z227	直达特快	合肥	21:50	合肥	当天21:50	21:50	北京	07:40	
>     187
> 
>   
> 更多HTMLParser方法请参考官方文档
> 
> 3.5[https://docs.python.org/3/library/html.parser.html][https_docs.python.org_3_library_html.parser.html]
> 
> 2.7[https://docs.python.org/2/library/htmlparser.html][https_docs.python.org_2_library_htmlparser.html]
> 
>   
> 
> 
> 学之，以记之。

[http_qq.ip138.com_train_anhui_HeFei.htm]: http://qq.ip138.com/train/anhui/HeFei.htm
[20160721222151166]: /images/20220720/b386ebc73eca4e619b34a44bf3e9ece0.png
[https_docs.python.org_3_library_html.parser.html]: https://docs.python.org/3/library/html.parser.html
[https_docs.python.org_2_library_htmlparser.html]: https://docs.python.org/2/library/htmlparser.html