爬虫实战：嗅事百科段子多页爬取

系统管理员 2023-01-07 10:23 207阅读 0赞

假如我们想爬取糗事百科( http://ww qiushibaike.com/)上的段子，也可以编写对应的Python网络爬虫实现。
20210117144421554.png_pic_center

本项目糗事百科网络爬虫的实现思路及步骤如下:

  1. 分析各页间的网址规律，构造网址变量，并可以通过for循环实现多页内容的爬取
  2. 构建一个自定义函数，专门用来实现爬取某个网页上的段子，包括两部分内容，一部分是对应用户，一部分是用户发表的段子内容。该函数功能实现的过程为:首先，模拟成浏览器访问，观察对应网页源代码中的内容，将用户信息部分与段子内容部分的格式写成正则表达式。随后，根据各正则表达式分别提取出该页中所有的用户与所有的内容，然后通过for循环遍历段子内容并将内容分别赋给对应的变量，这里变量名是有规律的，格式为“content+顺序号”，接下来再通过for循环遍历对应用户，并输出该用户对应的内容。
  3. 通过for循环分别获取多页的各页URL链接，每页分别调用一次getcontent ( url,page)函数。

定义正则表达式

用户
审查元素
20210117144514299.png_pic_center

查看源代码
20210117144855443.png_pic_center

多审查几个用户，

于是我们可以定义规则

  1. userpat=str('<h2>(.*?)</h2>')

内容
20210117150913280.png_pic_center
于是可以定义内容正则

  1. contentpat = '<div class="content">(.*?)</div>'

全部代码

  1. import urllib.request
  2. import re
  3. from urllib import request
  4. def getcontent(url,page):
  5.     headers = ("User-Agent",
  6.                "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36")
  7.     opener = urllib.request.build_opener()
  8.     opener.addheaders = [headers]
  9.     # 将opener安装为全局
  10.     urllib.request.install_opener(opener)
  12.     url_request = request.Request(url)
  13.     html1 = request.urlopen(url_request, timeout=10)
  14.     data=html1.read().decode('utf-8')
  15.     #构建用户正则表达式
  16.     userpat=str('<h2>(.*?)</h2>')
  17.     #构建内容正则表达式
  18.     contentpat = '<div class="content">(.*?)</div>'
  19.     #寻找出所有用户
  20.     userlist=re.compile(userpat,re.S).findall(data)
  21.     #寻找所有的内容
  22.     contentlist=re.compile(contentpat,re.S).findall(data)
  24.     x=1
  25.     #通过for循环遍历段子内容并将内容赋值给对应的变量
  26.     for content in contentlist:
  27.         content=content.replace('\n','')
  28.         #用字符串作为变量名，先将对应的字符串赋值给一个变量
  29.         name="content"+str(x)
  30.         exec(name+'=content')
  31.         x+=1
  33.     y=1
  34.     #通过for循环遍历用户，并始终输出 该用户对应的内容
  35.     for user in userlist:
  36.         name='content'+str(y)
  37.         print('用户'+str(page)+str(y)+'是:'+user)
  38.         print('内容是:')
  39.         exec("print("+name+")")
  42.         print('\n')
  43.         y+=1
  45. for i in range(10):
  46.     url='https://www.qiushibaike.com/text/page/'+str(i)+'/'
  47.     getcontent(url,i)

20210117160020735.png_pic_center

函数解析

exec()是一个十分有趣且使用的内置函数，不同于eval()函数只能执行计算数学表达式的结果的功能，exec()能够动态地执行复杂的Python代码，能够十分强大
首先是一个简单的小例子，代码如下：

  1. i = 12
  2. j = 13
  3. exec("answer=i*j")
  4. print("Answer is %s"%answer)

答案·156

在这里插入图片描述

发表评论

表情：
评论列表 （有 0 条评论，207人围观）

还没有评论，来说两句吧...

相关阅读