Python使用xpath实现图片爬取

柔情只为你懂 2022-12-22 08:58 126阅读 0赞

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/

友情链接：[好看站][Link 2] http://www.nrso.net/

[高州阳光论坛][Link 3]https://www.hnthzk.com/

**高性能异步爬虫**

目的：在爬虫中使用异步实现高性能的数据爬取操作

**异步爬虫的方式：**

\- 多线程、多进程（不建议）：

好处：可以为相关阻塞的操作单独开启多线程或进程，阻塞操作就可以异步执行;

弊端：无法无限制的开启多线程或多进程。

\- 线程池、进程池（适当的使用）：

好处：我们可以降低系统对进程或线程创建和销毁的一个频率，从而很好的降低系统的开销；

弊端：池中线程或进程的数据是有上限的。

代码如下

# _*_ coding:utf-8 _*_
    """
    @FileName  :6.4k图片解析爬取（异步高性能测试）.py
    @CreateTime :2020/8/14 0014 10:01
    @Author   : Lurker Zhang
    @E-mail   : 289735192@qq.com
    @Desc.   :
    """

import requests  
from lxml import etree  
from setting.config import \*  
import json  
import os  
import time  
from multiprocessing.dummy import Pool

def main():

# 图片采集源地址 #

# source\_url = ‘http://pic.netbian.com/4kmeinv/’ #

# temp\_url = ‘http://pic.netbian.com/4kmeinv/index\_\{\}.html’ #

# source\_url = ‘http://pic.netbian.com/4kdongman/’ #

# temp\_url = ‘http://pic.netbian.com/4kdongman/index\_\{\}.html’ #

source\_url = ‘http://pic.netbian.com/4kmingxing/’  
temp\_url = ‘http://pic.netbian.com/4kmingxing/index\_\{\}.html’

# 本此采集前多少页,大于1的整数 #

page\_sum = 136  
all\_pic\_list\_url = \[\]  
if page\_sum == 1:  
pic\_list\_url = source\_url  
print(‘开始下载:’ + pic\_list\_url)  
all\_pic\_list\_url.append(pic\_list\_url)  
else:  
\# 先采集第一页  
pic\_list\_url = source\_url  
\# 调用采集单页图片链接的函数  
all\_pic\_list\_url.append(pic\_list\_url)  
\# 再采集第二页开始后面的页数  
for page\_num in range(2, page\_sum + 1):  
pic\_list\_url = temp\_url.format(page\_num)  
all\_pic\_list\_url.append(pic\_list\_url)

# 单页图片多线程解析 #

pool1 = Pool(10)  
pool1.map(down\_pic, all\_pic\_list\_url)

print(‘采集完成，本地成功下载\{0\}张图片,失败\{1\}张图片。’.format(total\_success, total\_fail))

# 存储已下载文件名列表： #

with open("…/depository/mingxing/pic\_name\_list.json", ‘w’, encoding=‘utf-8’) as fp:  
json.dump(pic\_name\_list, fp)

def down\_pic(pic\_list\_url):  
print(“准备解析图片列表页：”,pic\_list\_url)

# 获取图片列表页的网页数据 #

pic\_list\_page\_text = requests.get(url=pic\_list\_url, headers=headers).text  
tree\_1 = etree.HTML(pic\_list\_page\_text)

# 获取图片地址列表 #

pic\_show\_url\_list = tree\_1.xpath(’//div\[@class=“slist”\]/ul//a/@href’)  
pic\_url\_list = \[get\_pic\_url(‘http://pic.netbian.com’ + pic\_show\_url) for pic\_show\_url in pic\_show\_url\_list\]

# 开始下载并保存图片(多线程) #

pool2 = Pool(5)  
pool2.map(save\_pic, pic\_url\_list)

def save\_pic(pic\_url):  
print(“准备下载图片：”,pic\_url)  
global total\_success, total\_fail, pic\_name\_list,path  
picname = get\_pic\_name(pic\_url)  
if not picname in pic\_name\_list:  
\# 获取日期作为保存位置文件夹

pic = requests.get(url=pic_url, headers=headers).content
    try:
      with open(path + picname, 'wb') as fp:
        fp.write(pic)
    except IOError:
      print(picname + "保存失败")
      total_fail += 1
    else:
      pic_name_list.append(picname)
      total_success += 1
      print("成功保存图片:{0},共成功采集{1}张。".format(picname, total_success))

else:  
print(“跳过，已下载过图片：” + picname)  
total\_fail += 1

def get\_pic\_name(pic\_url):  
return pic\_url.split(’/’)\[-1\]

def get\_pic\_url(pic\_show\_url):  
tree = etree.HTML(requests.get(url=pic\_show\_url, headers=headers).text)  
return ‘http://pic.netbian.com/’ + tree.xpath(’//div\[@class=“photo-pic”\]/a/img/@src’)\[0\]

if **name** == ‘**main**’:

# 读入已采集图片的名称库，名称存在重复的表示已经采集过将跳过不采集 #

if not os.path.exists(’…/depository/mingxing/pic\_name\_list.json’):  
with open("…/depository/mingxing/pic\_name\_list.json", ‘w’, encoding=“utf-8”) as fp:  
json.dump(\[\], fp)  
with open("…/depository/mingxing/pic\_name\_list.json", “r”, encoding=“utf-8”) as fp:  
pic\_name\_list = json.load(fp)  
path = ‘…/depository/mingxing/’ + time.strftime(’%Y%m%d’, time.localtime()) + ‘/’  
if not os.path.exists(path):  
os.mkdir(path)

# 记录本次采集图片的数量 #

total\_success = 0  
total\_fail = 0  
main()

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持菜鸟教程www.piaodoo.com。

[Link 1]: https://www.piaodoo.com/
[Link 2]: http://www.nrso.net/
[Link 3]: https://www.hnthzk.com/