利用BeautifulSoup、urllib、selenium爬取动态网站图片

心已赠人 2022-05-26 01:58 213阅读 0赞

1、导入相关包

from selenium import webdriver
    from bs4 import BeautifulSoup
    from urllib.parse import urlparse
    import time
    from urllib import request
    import re

2、定义代理，防止被服务器拦截

global headers
    headers={
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                'Accept':'application/json, text/javascript, */*; q=0.01',
                'Accept-Encoding':'gzip, deflate',
                'Accept-Language':'zh-CN,zh;q=0.9',
                'Connection':'keep-alive'}

3、定义函数，获取图片的url

driver = webdriver.Chrome()
    def getimgurl(url):
        imglist=[]#初始化图片url列表
        driver.get(url)#完全载入之后才会进行下一步操作
        execute_times(5)
    
        #先利用slenium对网页进行处理
        print(url)
        html=driver.page_source
        soup=BeautifulSoup(html,'html.parser')
        try:
            img_=soup.find_all('img') #找到所有含img的标签
        except:
            print('有问题')
            pass
        for each in img_:
            a=str(each.get('srcset'))
            if a!='None':
                #由于网址的特殊构造，可以依据第一个问号出现之前的为图片的真正链接
                for i in range(len(a)):
                    if a[i]=='?':
                        imglist.append(a[:i])
                        break
        print(len(imglist))
        download_img(imglist, n)  # 利用获取的图片url获取图片
        return print('Down')

4、定义对浏览器的操作，涉及到selenium

#函数，实现将滚轮滑到页面最下方的功能，这个在官方文档中有
    # （为了让页面载入完整，每10秒下移一次=）
    def execute_times(times):
        for i in range(times+1):
            driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")
            time.sleep(10)

5、定义下载图片函数

def download_img(imglist,n):
    
        global headers
        for imgurl in imglist:
            time.sleep(2)
            n+=1
            print('下载图片%s中' % n)
            filename = ('E:\Pr\images%s.jpg'%n)
            req = request.Request(url = imgurl, headers = headers)
            binary_data = request.urlopen(req).read() #获取图片的二进制数据
            temp_file = open(filename, 'wb') #创建文档
            temp_file.write(binary_data)#将二进制文件写入文档中
            temp_file.close() #关闭文档
            #这种下载方法总是被禁 request.urlretrieve(imgurl, path + '%s.jpg' % n)  # 下载图片，并以path+数字的格式进行命名
            print('下载图片%s完毕' % n)
            if n>20:
                break