python3利用正则表达式爬取内涵段子

分手后的思念是犯贱 2022-06-01 07:49 207阅读 0赞

似乎正则在爬虫中用的不是很广泛，但是也是基本功需要我们去掌握。  
先将内涵段子网页爬取下来，之后利用正则进行匹配，匹配完成后将匹配的段子写入文本文档内。代码如下：

# -*- coding:utf-8 -*-
    from urllib import request as urllib2
    import re
    # 利用正则表达式爬取内涵段子
    url = r'http://www.neihanpa.com/article/list_5_{}.html'
    
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0',
    }
    file_name = '内涵段子.txt'
    for page in range(2):
    # 2表示页数，可以自行调整
        fullurl = url.format(str(page+1))
        request = urllib2.Request(url=fullurl, headers=headers)
        response = urllib2.urlopen(request)
        html = response.read().decode('gbk')
        # re.S 如果没有re.S 则是只匹配一行有没有符合规则的字符串，如果没有则下一行重新匹配
        # 如果加上re.S 则是将所有的字符串作为一个整体进行匹配
        pattern = re.compile(r'<div\sclass="f18 mb20">(.*?)</div>',re.S)
        duanzis = pattern.findall(html)
        for duanzi in duanzis:
            duanzi = duanzi.replace('<p>','').replace('</p>','').replace('<br />','\n').replace('“','').replace('&rdquo','').replace('…','')
            try:
                # 将爬取的段子写入文件
                file = open(file_name,'a',encoding='utf-8')
                file.write('\n'.join(duanzi.split()))
                file.close()
            except OSError as e:
                print(e)

发表评论取消回复

表情：

评论列表（有 0 条评论，207人围观）

还没有评论，来说两句吧...

相关阅读

相关【scrapy爬虫】结合正则表达式爬取糗事百科段子首页步骤详解

糗事百科爬虫首页及全站段子爬取步骤详解 1. 前提说明 2. 创建项目 3. 创建爬虫模板 4. items.py文件修改 5. 爬虫模板文

缺乏、安全感/ 2023年02月20日 07:58/ 0 赞/ 8 阅读

相关 python爬取图片(正则表达式)

\\ 利用py的requests库爬取图片代码如下 import requests import re def getHtml(url):

骑猪看日落/ 2022年12月28日 11:20/ 0 赞/ 144 阅读

相关 Python爬取糗事百科段子

Python爬取糗事百科段子 -------------------- 糗事百科是一个原创的糗事笑话分享社区,糗百网友分享的搞笑段子，使用Python爬取段子 ![

超、凢脫俗/ 2022年10月23日 12:42/ 0 赞/ 196 阅读

相关利用python3爬取小说

此博客是在学习了大神Jack-Cui的专栏[Python3网络爬虫入门][Python3]之后写的，代码也是在他的一篇博客代码上稍做了下改动，在这里感谢下大神，从他那里学了很多

太过爱你忘了你带给我的痛/ 2022年06月01日 10:42/ 0 赞/ 350 阅读

相关 python3利用正则表达式爬取内涵段子

似乎正则在爬虫中用的不是很广泛，但是也是基本功需要我们去掌握。先将内涵段子网页爬取下来，之后利用正则进行匹配，匹配完成后将匹配的段子写入文本文档内。代码如下：

分手后的思念是犯贱/ 2022年06月01日 07:49/ 0 赞/ 208 阅读

相关 Java使用正则表达式爬取网站全部连接

package Regex; import java.io.BufferedReader; import java.io.InputStrea

谁践踏了优雅/ 2022年05月14日 14:18/ 0 赞/ 184 阅读

相关案例_(单线程)使用正则的内涵段子爬虫

(单线程)使用正则的内涵段子爬虫代码如下 1 from urllib.request import 2 import re 3 im

偏执的太偏执、/ 2022年05月14日 12:37/ 0 赞/ 197 阅读

相关 python3 使用正则表达式爬取豆瓣影评

我们这次要爬取的豆瓣的影评链接：https://movie.douban.com/review/best/?start=0 一、使用正则表达式的方式 1、爬虫

冷不防/ 2022年03月08日 01:30/ 0 赞/ 270 阅读

相关 Python3 正则表达式（教程）

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。

Bertha 。/ 2022年02月04日 15:47/ 0 赞/ 261 阅读

相关 python3——正则表达式

python3——re模块 re.match() re.match(pattern,string,flags=0) 从字符串的起始位置匹配一个模式 re.rearc

灰太狼/ 2022年01月27日 18:39/ 0 赞/ 261 阅读