python 解析HTML（附通过例子）

矫情吗；* 2022-08-26 13:14 177阅读 0赞

有多种库可以选择，本次调查以下几种

**SGMLParser**：大概是python2.6—3.0之间支持自带库，其它不自带。使用见[http://blog.csdn.net/zhaoyl03/article/details/8631645][http_blog.csdn.net_zhaoyl03_article_details_8631645]

[http://blog.csdn.net/nwpulei/article/details/7272832][http_blog.csdn.net_nwpulei_article_details_7272832]

HTMLParser：本次主要使用，支持覆盖较广，但使用功能有限。例子见[http://www.cnblogs.com/coser/archive/2012/01/09/2317076.html][http_www.cnblogs.com_coser_archive_2012_01_09_2317076.html]

BeautifulSoup：据说比较好的第三方库，没有使用，BeautifulStoneSoup还可以处理XML。见[http://rsj217.diandian.com/post/2012-11-01/40041235132][http_rsj217.diandian.com_post_2012-11-01_40041235132]

其它的还有很多种。

HTMLParser：[https://docs.python.org/2/library/htmlparser.html][https_docs.python.org_2_library_htmlparser.html]

[http://blog.csdn.net/tianxicool/article/details/5942523][http_blog.csdn.net_tianxicool_article_details_5942523]

**class HTMLParser.HTMLParser**

使用 HTMLParser 的实例，填充 HTML 数据，并在开始和结束标记间调用函数。 HTMLParser 类意味着重载。

和 htmllib 的分析器不同， this parser 并不检测和开始标记对应的结束标记 or call the end-tag handler for elements which are close implicitly by closing an outer element.

这里还有一个例外情况：

exception HTMLParser.HTMLParserError

当分析遇到 Error 时 HTMLParser 会抛出异常。该异常提供三个属性： msg ， lineno and offset 。

HTMLParser 实例有如下的方法：

** **

**HTMLParser.reset()**

重置实例 . 所有未处理的数据都会丢失。在初始化时自动调用。

**HTMLParser.feed(data)**

给分析器喂食。在由完整元素构成的情况下工作；不完整数据情况下，会进行缓冲知道更多数据加进来或者 close() 被调用。

**HTMLParser.close()**

处理所有缓冲数据。这个方法可以被派生类重定义，以便在输入结束后处理额外的事情，重定义的版本也要调用 HTMLParser 基类的 close() 方法。

**HTMLParser.getpos()**

返回当前行数和列数

**HTMLParser.get\_starttag\_text()**

返回最近打开过得开始标记处的文本。通常不会用到， but may be useful in dealing with HTML “as deployed” or for re-generating input with minimal changes (whitespace between attributes can be preserved, etc.).

**HTMLParser.handle\_starttag(tag, attrs)**

该方法用来处理一个标记的开始。通常被派生类重载；基类的实例什么都不做。

tag 参数是 tag 的名字的小写化。 attrs 参数是一个 list ，由 (name, value) 组成，反映了 <> 里面的属性。 name 会被翻译成小写字母，在 value 中的引号也被移除了，字符实体引用也会被替换。例如，有个**tag<A HREF=”http://www.cwi.nl/”>**，那么使用该方法就该这么做： **handle\_starttag(’a’, \[(’href’, ’http://www.cwi.nl/’)\])**

** **

Changed in version 2.6: 来自 htmlentitydefs 的所有实体引用都被属性值替换。

** **

**HTMLParser.handle\_startendtag(tag, attrs)**

和 handle\_starttag() 类似，用来处理 XHTML 风格的 空标签（ <a .../> ）。可能被子类重载， which require this particular lexical information; 默认的实现只是简单的调用 handle\_starttag() 和 handle\_endtag()

** **

**HTMLParser.handle\_endtag(tag)**

该方法用来处理元素结束标记。可以被派生类重载；基类什么也不做。 tag 参数是 tag 的 name 转化来的小写字母。

** **

**HTMLParser.handle\_data(data)**

该方法用来处理随机的数据。可以被派生类重载；基类什么也不做。

** **

**HTMLParser.handle\_charref(name)**

处理 **&\#ref** 格式的字符引用。可以被派生类重载；基类什么也不做。

** **

**HTMLParser.handle\_entityref(name)**

处理一般的 **&name** 格式的实体引用。 name 是一个一般的实体引用。可以被派生类重载；基类什么也不做。

** **

**HTMLParser.handle\_comment(data)**

处理遇到注释的情况。注释参数为在——和——之间的字符串文本，而不是分隔符自身。例如  ，该方法将调用‘ text ’。可以被派生类重载；基类什么也不做。

** **

**HTMLParser.handle\_decl(decl)**

当分析器遇到 SGML 声明时调用此方法。 decl 参数是 <!...> 标记里的整个内容。可以被派生类重载；基类什么也不做。

** **

**HTMLParser.handle\_pi(data)**

处理命令， data 参数包含整个的处理命令。例如 <?proc color=’red’> ，该方法应写成 handle\_pi(”proc color=’red’”). 可以被派生类重载；基类什么也不做。

我的例子：

from HTMLParser import HTMLParser

class MyHTMLParser(HTMLParser):  
    def \_\_init\_\_(self):  
        HTMLParser.\_\_init\_\_(self)  
        self.text = ""  
        self.links = ""  
        self.items = \[\]  
        self.flag1 = False  
        self.flag2 = False  
        self.flag3 = False

def handle\_starttag(self, tag, attrs):  
        print "Start tag %s" % tag  
        if tag == "div":  
            for (variable, value) in attrs:  
                if variable == "class":  
                    print "find %s" % value  
                    if value == "descr-left":  
                        print "---------------find %s" % value  
                        self.flag1 = True  
                    if value == "descr-right":  
                        print "---------------find %s" % value  
                        self.flag2 = True  
        if tag == "a" and self.flag1 == True:  
            print "Start tag2 %s" % tag    
            if len(attrs) == 0: pass  
            else:  
                for (variable, value)  in attrs:  
                    if variable == "href":  
                        self.links = value  
        if tag == "h4" and self.flag2 == True:  
            for (variable, value) in attrs:  
                if variable == "class":  
                    print "find %s" % value  
                    if value == "curr-tit":  
                        print "---------------find %s" % value  
                        self.flag3 = True  
    def handle\_data(self, data):  
        if self.flag3 == True:  
            self.text = data  
            print "---------------find data %s" % data  
\#        if self.flag1 == True:  
            self.items.append((self.text, self.links))  
    def handle\_entityref(self , name):  
        if entitydefs.has\_key(name):  
            self.handle\_data(name)  
        else :  
            self.handle\_data("&"+name )  
    def handle\_endtag(self, tag):  
        if tag == 'div' and self.flag1 == True:  
            self.flag1 = False  
        if tag == 'div' and self.flag2 == True:  
            self.flag2 = False  
        if tag == 'h4' and self.flag3 == True:  
            self.flag3 = False  
    def getItems(self):  
        return self.items  
         
if \_\_name\_\_=="\_\_main\_\_":  
    
    html = "D:\\App781286.html"  
    file = open(html)  
    try:  
        text = file.read()  
    finally:  
        file.close()  
    hp = MyHTMLParser()  
    hp.feed(text)  
    hp.close()  
    items = hp.getItems()  
    for text, links in items :  
        print text , links  
    print(hp.getItems())  
    f = open('D:\\download.txt', 'a')  
    for text, links in items :  
        f.write("%s : %s \\n" % (text, links))  
    f.close()

注1：如果想处理多个节点的树级结构可以采用flag，见上程序

注2：如上所说该类只是在开始和结束标记然后调用函数，如果想要获取<h4 class="curr-tit">Nokia X计算器</h4>  
中“Nokia X计算器”，则只需要在def handle\_starttag(self, tag, attrs):和def handle\_endtag(self, tag):中标记flag，

然后重写def handle\_data(self, data):方法，则可以自动读取

[http_blog.csdn.net_zhaoyl03_article_details_8631645]: http://blog.csdn.net/zhaoyl03/article/details/8631645
[http_blog.csdn.net_nwpulei_article_details_7272832]: http://blog.csdn.net/nwpulei/article/details/7272832
[http_www.cnblogs.com_coser_archive_2012_01_09_2317076.html]: http://www.cnblogs.com/coser/archive/2012/01/09/2317076.html
[http_rsj217.diandian.com_post_2012-11-01_40041235132]: http://rsj217.diandian.com/post/2012-11-01/40041235132
[https_docs.python.org_2_library_htmlparser.html]: https://docs.python.org/2/library/htmlparser.html
[http_blog.csdn.net_tianxicool_article_details_5942523]: http://blog.csdn.net/tianxicool/article/details/5942523