每天一篇python:简单爬虫下载图片篇

青旅半醒 2022-07-30 13:16 297阅读 0赞

## 使用python下载百度贴吧的图片，主要用到了urlib、和re 两个模块，具体代码如下： ##

#!/usr/bin/env python
    # -*- coding: utf-8 -*-
    
    ''' Created on 2016年4月17日 @author: damuou @title: 今天学习使用python 来爬取网页上的图片。 '''
    #url相关
    import urllib
    #正则表达式相关
    import re
    
    #返回目标url的html源码 
    def getHtml(url):
        page=urllib.urlopen(url)
        html =page.read()
        return html
    
    def getImage(html):
        reg = r'src="(.+?\.jpg)" pic_ext'
        imgre = re.compile(reg)
        #读取html 中包含 imgre（正则表达式）的数据
        imglist = re.findall(imgre,html)
        return imglist     
    
    def downloadImage(urls):
        #此处注意for语法行以冒号结尾
        x=1;
        for url  in urls:
            'urlretrieve解析：直接将远程数据下载到本地。'
            '''参数 finename 指定了保存本地路径（如果参数未指定，urllib会生成一个临时文件保存数据。） 参数 reporthook 是一个回调函数，当连接上服务器、以及相应的数据块传输完毕时会触发该回调，我们可以利用这个回调函数来显示当前的下载进度。 参数 data 指 post 到服务器的数据，该方法返回一个包含两个元素的(filename, headers)元组，filename 表示保存到本地的路径，header 表示服务器的响应头。'''
            urllib.urlretrieve(url,'%s.jpg' % x)
            x=x+1
    
    if __name__ == '__main__':
        html= getHtml("http://tieba.baidu.com/p/2460150866")
        print html
        imageUrls=getImage(html);
        print imageUrls
        downloadImage(imageUrls)

发表评论取消回复

表情：

评论列表（有 0 条评论，297人围观）

还没有评论，来说两句吧...

相关阅读

相关每天一篇python:简单爬虫下载图片篇

使用python下载百度贴吧的图片，主要用到了urlib、和re 两个模块，具体代码如下： !/usr/bin/env python -- coding

青旅半醒/ 2022年07月30日 13:16/ 0 赞/ 298 阅读

相关每天一篇python:时间日期篇

今天学习一下如何利用python 获取时间、日期。主要用到了 time 和 datetime 对象，还是比较方便的，如果你之前会某一种面相对象的语言，学起python来还是很

短命女/ 2022年07月28日 08:45/ 0 赞/ 168 阅读

相关每天一篇python:文件下载篇

使用python实现文件下载 !/usr/bin/env python -- coding: utf-8 -- ''' Cre

梦里梦外;/ 2022年07月28日 04:09/ 0 赞/ 150 阅读

相关每天一篇python:对象篇

每天一篇python:对象篇学习python 的对象与java的对象的使用方面有哪些不同，如何定义对象以及访问对象的属性、方法 !/usr/local/bin

秒速五厘米/ 2022年07月28日 01:10/ 0 赞/ 280 阅读

相关每天一篇python:函数篇

学习使用函数，以及如何定义函数 !/usr/bin/env python -- coding: utf-8 -- ''' Create

傷城~/ 2022年07月28日 00:28/ 0 赞/ 229 阅读

相关每天一篇python:文件、文件操作篇

每天一篇python:文件、文件操作篇文件操作相对比较简单，函数都是现成的只需要熟悉一下函数名称以及调用方式即可，例子如下： !/usr/local/bi

た入场券/ 2022年07月27日 15:59/ 0 赞/ 155 阅读

相关每天一篇python：数据类型篇

每天一篇python：数据类型篇数据类型任何开发语言都会用到，作为新手，今天开始学习python 的数据类型：代码块代码语法如下： !/usr/b

小鱼儿/ 2022年07月27日 14:50/ 0 赞/ 146 阅读

相关每天一篇python：环境搭建篇

每天一篇python：环境搭建篇从今天开始每天用业余时间（确切的说是每天22：00–24：00）学习phhton。环境搭建、HelloWord 初次见面

川长思鸟来/ 2022年07月27日 14:43/ 0 赞/ 168 阅读

相关每天一篇python:系统篇

今天学习一下使用python操作系统资源（命令、ip），这也是作为基础部分大最后一篇，从下次开始将进行实战，从小项目入手已具体需求为出发点来系统的学习使用python。

逃离我推掉我的手/ 2022年07月27日 11:56/ 0 赞/ 168 阅读

相关每天一篇python: pickle 模块篇

学习使用pickle 模块进行数据序列化和反序列化操作。 !/usr/local/bin/python2.7 -- coding:utf-8 --

系统管理员/ 2022年07月26日 04:17/ 0 赞/ 188 阅读