python爬虫实战（一）--爬取知乎话题图片

逃离我推掉我的手 2022-06-08 08:10 426阅读 0赞

原文链接python爬虫实战（一）–爬取知乎话题图片

前言

在学习了python基础之后，该尝试用python做一些有趣的事情了–爬虫。
知识准备：
1.python基础知识
2.urllib库使用
3.http基本知识
4.html/js基本知识。
环境准备：
1.linux
2.python3

话不多说，开始

爬取目标

本次爬取的目标是知乎话题下的图片。

分析

以知乎话题你见过哪些谜之笑点的图片为例。
用浏览器打开该链接。鼠标右键-查看源代码。可以看到，图片的url在img标签中，那么在爬取到该网页内容之后，可以使用正则表达式，获取图片的url，再根据url将图片下载下来，便大功告成了。

代码

  1. #!/usr/bin/python3
  2. #coding=utf-8
  3. import urllib.request as request
  4. import urllib.parse as parse
  5. import string
  6. import sys
  7. import re
  8. import os
  9. import urllib.error as error
  11. '''
  12. 获取url中的图片
  13. url：链接地址
  14. dirpath：保存路径
  15. '''
  16. def getUrlImage(url,dirpath):
  18.     dldNum=0
  19.     data = request.urlopen(url).read()
  21.     if not os.path.isdir(dirpath):
  22.         os.makedirs(dirpath)
  23.     page_data = data.decode('gbk','ignore')
  24.     #获取img标签数据
  25.     page_image = re.compile('<img src=\"(.+?)\"')
  26.     for image in page_image.findall(page_data):
  27.         #匹配数据中的图片
  28.         pattern = re.compile(r'^https://.*.(jpg|png|gif|jpeg)$')
  29.         if  pattern.match(image):
  30.             print (image)
  31.             try:
  32.                 extension =  GetFileNameAndExt(image)
  33.                 image_data = request.urlopen(image).read()
  34.                 image_path = dirpath+'/'+str(dldNum)+extension
  35.                 dldNum += 1
  36.                 print(image_path)
  37.                 with open(image_path, 'wb') as image_file:
  38.                     image_file.write(image_data)
  39.                     image_file.close()
  40.             except error.URLError as e:
  41.                 print('Download failed')
  42. '''
  43. 获取文件名中的扩展名
  44. '''
  45. def GetFileNameAndExt(filename):
  46.     (filepath,tempfilename) = os.path.split(filename);
  47.     (shotname,extension) = os.path.splitext(tempfilename);
  48.     return extension
  49. '''
  50. 入口函数
  51. 带两个参数
  53. '''
  54. if __name__ == "__main__":
  55.     if(len(sys.argv) < 2):
  56.         print("usage:./download_spider.py url  savePath")
  57.     else:
  58.         print("the url is "+str(sys.argv[1]))
  59.         print("the save path is "+str(sys.argv[2]))
  60.         url = sys.argv[1]
  61.         savePath = sys.argv[2]
  62.         getUrlImage(url,savePath)

运行

有两个参数，第一个参数是url，即话题的链接，第二个参数是所要保存图片的路径。
在linux下运行

  1. ./getZhiHuImage.py  https://www.zhihu.com/question/41432739 /home/spider/

将会在目的目录下发现下载好的图片。39 /home/spider/
“`
将会在目的目录下发现下载好的图片。

发表评论

表情：
评论列表 （有 0 条评论，426人围观）

还没有评论，来说两句吧...

相关阅读