python多线程下载图片

今天药忘吃喽~ 2022-02-05 12:23 251阅读 0赞

def download_urls(url_and_path_list, num_concurrent, skip_existing):
        # prepare the queue
        queue = Queue.Queue()
        for url_and_path in url_and_path_list:
            queue.put(url_and_path)
    
    # start the requested number of download threads to download the files
    threads = []
    for _ in range(num_concurrent):
        t = DownloadThread(queue, skip_existing)
        t.daemon = True
        t.start()
    
    queue.join()
    
    class DownloadThread(threading.Thread):
        def __init__(self, queue, skip_existing):
            super(DownloadThread, self).__init__()
            self.queue = queue
            self.skip_existing = skip_existing
    
    def run(self):
        while True:
            #grabs url from queue
            url, path = self.queue.get()
    
            if self.skip_existing and exists(path):
                # skip if requested
                self.queue.task_done()
                continue
    
            try:
                urllib.urlretrieve(url, path)
            except IOError:
                print "Error downloading url '%s'." % url
    
            #signals to queue job is done
            self.queue.task_done()

发表评论取消回复

表情：

评论列表（有 0 条评论，251人围观）

还没有评论，来说两句吧...

相关阅读

相关多线程下载

业务需求: 数据库之前爬取了豆瓣图书信息4万多条,现在想根据url把图片按分类下载下来数据 ![watermark_type_ZmFuZ3poZW5naGVpdGk_

àì夳堔傛蜴生んèń/ 2022年12月03日 08:39/ 0 赞/ 158 阅读

相关 python多线程爬取图片

1. 创建一个 Queue.Queue() 的实例，然后使用数据对它进行填充。 2. 将经过填充数据的实例传递给线程类，后者是通过继承 threading.Thread 的

迈不过友情╰/ 2022年08月13日 13:52/ 0 赞/ 261 阅读

相关多线程下载图片的简单例子

[原文][Link 1] package com.example.kirito.myapplication.testdownload; import

男娘i/ 2022年07月15日 00:06/ 0 赞/ 151 阅读

相关 Python 3 多线程下载百度图片搜索结果

Python 3 多线程下载百度图片搜索结果转载来至：http://lovenight.github.io/2015/11/15/Python-3-%E5%A4

绝地灬酷狼/ 2022年06月04日 06:17/ 0 赞/ 218 阅读

相关多线程下载图片并压缩

最近在做一个需求：从其他系统的ftp目录下载存储图片url的文件，然后读取文件中的url地址，根据地址下载图片后按天压缩成一个包，平均一个地址文件中包含4000个地址左右，也就

落日映苍穹つ/ 2022年05月25日 08:59/ 0 赞/ 181 阅读

相关 Python爬虫之多线程下载豆瓣Top250电影图片

爬虫项目介绍本次爬虫项目将爬取豆瓣Top250电影的图片，其网址为：[https://movie.douban.com/top250][https_movie.do

缺乏、安全感/ 2022年05月22日 07:59/ 0 赞/ 261 阅读

相关 Python3 多线程下载图片

import requests import time import threading import queue s='ht

一时失言乱红尘/ 2022年05月16日 13:34/ 0 赞/ 238 阅读

相关 python多线程下载图片

def download_urls(url_and_path_list, num_concurrent, skip_existing): prepar

今天药忘吃喽~/ 2022年02月05日 12:23/ 0 赞/ 252 阅读

相关 Python多线程下载网络URL图片的方法

Python多线程下载网络URL图片的方法采用多线程的方法，通过URL地址，下载资源图片 GitHub地址：[https://github.com/P

朴灿烈づ我的快乐病毒、/ 2022年01月14日 07:27/ 0 赞/ 332 阅读

相关多线程下载

思路：将文件分成多个部分，多个线程进行读取和写入，如3个线程下载1个大小为902byte的文件，第一个线程下载0-299字节，第二个线程下载300-599字节，第三个线

谁借莪１个温暖的怀抱￠/ 2021年12月21日 15:35/ 0 赞/ 257 阅读