Python3写爬虫（二）爬取页面图片

客官°小女子只卖身不卖艺 2022-10-02 04:55 179阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

#!/bin/python3
    import urllib.request as request  
    import urllib.parse as parse  
    import string  
    import re  
    import os  
    import urllib.error as error  
    print(""" 
    ++++++++++++++++++++++ 
    *++++网站图片捕捉中+++ 
    +++++++++++++++++=++++ 
     """)  
    
    def baidu_tieba(url, begin_page, end_page):  
        count = 1  
        for i in range(begin_page, end_page + 1):  
            sName = 'f:/test/'+str(i).zfill(5)+'.html'  
            print('正在下载第'+str(i)+'个页面, 并保存为'+sName)  
            m = request.urlopen(url+str(i)).read()  
            
            #创建目录保存每个网页上的图片  
            dirpath = 'f:/test/'  
            dirname = str(i)  
            new_path = os.path.join(dirpath, dirname)  
     
            if not os.path.isdir(new_path):  
                os.makedirs(new_path)  
            page_data = m.decode('UTF-8','ignore')      
            #关于decode和encode，Python中编码的解码与编码会详细介绍
             
            page_image = re.compile('<img src=\"(.+?)\"')  #重点来看这两行        
    for image in page_image.findall(page_data):  #在page_date中查找所有含有IMG标签的字符串
                pattern = re.compile(r'^http://.*.jpg$')  
                if  pattern.match(image):  #如果在含有IMG标签包含图片链接，则下载
                    try:  
                        image_data = request.urlopen(image).read()  
                        image_path = dirpath + dirname +'/'+str(count)+'.jpg'  
                        count += 1  
                        print(image_path)  
                        with open(image_path, 'wb') as image_file:  
                            image_file.write(image_data)  
                        image_file.close()  
                    except error.URLError as e:  
                        print('Download failed')  
            with open(sName,'wb') as file:  
                file.write(m)  
            file.close()  
    if __name__ == "__main__":  
        url = 'http://tieba.baidu.com'
        begin_page = 1  
        end_page = 3  
        baidu_tieba(url, begin_page, end_page)

其中创建文件夹等部分不赘述，重点讲解下Python中**re模块**（正则表达式模块的内容），也就是下面两句：

page\_image = re.compile('<img src=\\"(.+?)\\"')  
page\_image.findall(page\_data):

re.compile()可以把正则表达式编译成一个正则表达式对象。可以把那些经常使用的正则表达式编译成正则表达式对象，这样可以提高一定的效率。下面是一个正则表达式对象的一个例子：

import re  
text = " JGood is a handsome boy, he is cool, clever, and so on... "   
regex = re.compile(r ' \\w\*oo\\w\* ' )  
print regex.findall(text) \# 查找所有包含'oo'的单词   
print regex.sub( lambda m: ' \[ ' \+ m.group(0) \+ ' \] ' , text) \# 将字符串中含有'oo'的单词用\[\]括起来。

（节选自：[http://www.cnblogs.com/sevenyuan/archive/2010/12/06/1898075.html][http_www.cnblogs.com_sevenyuan_archive_2010_12_06_1898075.html]）

其中相关到正则表达式，可参考这个教程《正则表达式30分钟入门教程》（网址：[http://www.jb51.net/tools/zhengze.html][http_www.jb51.net_tools_zhengze.html]）

这段正则表达式的含义是：<img src=\\"(.+?)\\"，包含了<img src="任意字符"。

'^http://.\*.jpg$'该正则表达式：^表示字符串的开始，$表示字符串的结束，整个式子表示所有图片的链接。

所以，改程序最主要的内容就是在读取的网页中检索图片的链接字符串。具体步骤如下：

\----------------------------------------------华丽分割-------------------------------------------------

第一步，抓取网页内容：

m = request.urlopen(url+str(i)).read()

page\_data = m.decode('UTF-8','ignore')

第二部，筛选IMG标签：

page\_image = re.compile('<img src=\\"(.+?)\\"')

page\_image.findall(page\_data)

第三部，在筛选出的IMG标签中，检索图片链接：

pattern = re.compile(r'^http://.\*.jpg$')

if pattern.match(image)：

\#后面的语句

如果在含有IMG标签包含图片链接，则下载

\--------------------------------------------华丽结束---------------------------------------------------

关于图片数据的保存，不赘述。

由此可知，完成网页爬虫需要学习的Python模块，是：

1.urllib.request

2.urllib.parse

3.re

其中Python os模块包含普遍的操作系统功能，其主要作用就是能够使程序与平台无关。（详见《[Python 模块学习：os模块][Python _os]》）

转载于:https://my.oschina.net/lifeisshort/blog/394656

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220113/4959a130901846c6996a02959a3ed918.png
[http_www.cnblogs.com_sevenyuan_archive_2010_12_06_1898075.html]: http://www.cnblogs.com/sevenyuan/archive/2010/12/06/1898075.html
[http_www.jb51.net_tools_zhengze.html]: http://www.jb51.net/tools/zhengze.html
[Python _os]: http://www.cnblogs.com/BeginMan/p/3327291.html