【html】Python提取html中文本到txt

妖狐艹你老母 2023-03-01 08:39 105阅读 0赞

### 正则去标签方式 ###

# -*- coding: utf-8 -*-
    import re
    
    def html_tag_rm(content: str):
    	dr = re.compile(r'<[^>]+>',re.S)
    	return dr.sub('',content)

### nltk ###

比较笨重  
需要安装依赖 nltk, numpy, pyyaml

# -*- coding: utf-8 -*-
    import nltk
    
    
    def html_tag_rm(content: str):
    	return nltk.clean_html(content)

### htmlParser ###

import re
    from sys import stderr 
    from traceback import print_exc
    from HTMLParser import HTMLParser
    
     
    class _DeHTMLParser(HTMLParser): 
        def __init__(self): 
            HTMLParser.__init__(self) 
            self.__text = [] 
     
        def handle_data(self, data): 
            text = data.strip() 
            if len(text) > 0: 
                text = re.sub('[ \t\r\n]+', ' ', text) 
                self.__text.append(text + ' ') 
     
        def handle_starttag(self, tag, attrs): 
            if tag == 'p': 
                self.__text.append('\n\n') 
            elif tag == 'br': 
                self.__text.append('\n') 
     
        def handle_startendtag(self, tag, attrs): 
            if tag == 'br': 
                self.__text.append('\n\n') 
     
        def text(self): 
            return ''.join(self.__text).strip() 
     
     
    def dehtml(text): 
        try: 
            parser = _DeHTMLParser() 
            parser.feed(text) 
            parser.close() 
            return parser.text() 
        except: 
            print_exc(file=stderr) 
            return text 
     
     
    def main(): 
        text = r''''' <html> <body> <b>Project:</b> DeHTML<br> <b>Description</b>:<br> This small script is intended to allow conversion from HTML markup to plain text. </body> </html> ''' 
        print(dehtml(text)) 
     
     
    if __name__ == '__main__': 
        main()

发表评论取消回复

表情：

评论列表（有 0 条评论，105人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java 提取HTML文件中的文本内容

本文提供详细步骤及代码演示了如何使用免费 Java API 提取HTML 文件中的文本内容。

不念不忘少年蓝@/ 2024年05月01日 03:40/ 0 赞/ 16 阅读

相关 Python怎么样提取html中文本到txt

![72ee16cfc69544969f5ad46d0f4f776a.jpeg][] 本文主要介绍了Python如何提取html中文本到txt问题，具有很好的参考价值，希望对

不念不忘少年蓝@/ 2024年03月23日 22:01/ 0 赞/ 11 阅读

相关【html】Python提取html中文本到txt

正则去标签方式 -- coding: utf-8 -- import re def html_tag_rm(content: str)

妖狐艹你老母/ 2023年03月01日 08:39/ 0 赞/ 106 阅读

相关 Java追加文本内容到txt文件

文本内容逐行写入到txt文件中： import java.io.RandomAccessFile; / 功能：将内容逐行写入到txt

本是古典何须时尚/ 2022年11月05日 11:48/ 0 赞/ 207 阅读

相关 .net提取html中的文本,从元素提取属性、文本和HTML

Problem After parsing a document, and finding some elements, you'll want to get at the

约定不等于承诺〃/ 2022年10月08日 00:40/ 0 赞/ 150 阅读

相关 java实现html的文本提取-Demo

java实现html的文本提取-Demo package com.ydfind.util; import com.alibaba.druid.uti

超、凢脫俗/ 2022年09月11日 01:13/ 0 赞/ 117 阅读

相关 HEVC里面CU与TU打印到屏幕及提取到txt文本

测试模型为HM16.5 在解决方案资源管理器里面找到项目TlibEncoder，会看到里面有个源文件TencCU.cpp （1）打印到屏幕（在TencC

爱被打了一巴掌/ 2022年07月13日 06:37/ 0 赞/ 106 阅读

相关 java 使用Jsoup提取HTML纯文本

java 使用Jsoup提取HTML纯文本网上很多提取HTML文本的方法，但是都不全，很多的特殊字符不能过滤掉，本文章讲述的方法可以将所有的标签包括HTML的特殊字符全

电玩女神/ 2022年04月23日 12:40/ 0 赞/ 242 阅读

相关提取html中的文本内容的工具类（jsoup）

1、项目中添加依赖 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</

迈不过友情╰/ 2022年01月29日 05:59/ 0 赞/ 271 阅读

相关 linux shell 提取txt文件到数组

想把txt文件中的数据存带数组里，以便接下来的脚本进行使用。 c=0 for line in `cat address.txt` do a

ゝ一世哀愁。/ 2021年09月07日 06:12/ 0 赞/ 673 阅读