Python 线程池 ThreadPoolExecutor(二) - Python零基础入门教程

悠悠 2022-10-10 12:30 152阅读 0赞

*  一.Python 线程池前言
 *  二.Python 线程池 ThreadPoolExecutor 常用函数
    
     *  1.线程池 as\_completed 函数使用
     *  2.线程池 map 函数使用
     *  3.线程池 wait 函数使用
 *  三.猜你喜欢

> 零基础 Python 学习路线推荐 : [Python 学习目录][Python] >> [Python 基础入门][Python 1]

## 一.Python 线程池前言 ##

紧接着上一篇文章 **[Python 线程池 ThreadPoolExecutor（一）][Python _ ThreadPoolExecutor]** 我们继续对线程池深入一点了解，其实 [Python][Python 2] 中关于线程池，一共有两个模块：

*  1.**threadpool** — 是一个比较老的模块了，现在虽然还有一些人在用，但已经不再是主流了；
 *  2.**concurrent.futures** **— 目前线程池主要使用这个模块，主流模块；**

## 二.Python 线程池 ThreadPoolExecutor 常用函数 ##

除了 **[Python 线程池 ThreadPoolExecutor（一）][Python _ ThreadPoolExecutor]** 文章中介绍的 submit / cancel / done / result 函数外，今天还需要额外讲解一下另外几个函数：

### 1.线程池 as\_completed 函数使用 ###

虽然 done 函数提供了判断任务是否结束的方法，但是并不是太实用，因为我们并不知道线程到底什么时候结束，需要一直判断每个任务有没有结束。这时就可以使用 as\_completed 方法一次取出所有任务的结果。

**as\_completed 方法是一个生成器，在没有任务完成的时候，会阻塞，在有某个任务完成的时候，就能继续执行 [for 循环][for]后面的语句，然后继续阻塞住，循环到所有的任务结束。**

# !usr/bin/env python
    # -*- coding:utf-8 _*-
    """
    @Author:猿说编程
    @Blog(个人博客地址): www.codersrc.com
    @File:Python 线程池 ThreadPoolExecutor.py
    @Time:2021/05/05 07:37
    @Motto:不积跬步无以至千里，不积小流无以成江海，程序人生的精彩需要坚持不懈地积累！
    
    """
    
    
    from concurrent.futures import ThreadPoolExecutor, as_completed
    import time
    
    # 参数times用来模拟网络请求的时间
    def download_video(index):
        time.sleep(2)
        print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S', time.gmtime())))
        return index
    
    executor = ThreadPoolExecutor(max_workers=2)
    urls = [1, 2, 3, 4, 5]
    all_task = [executor.submit(download_video, (url)) for url in urls]
    
    for task in as_completed(all_task):
        data = task.result()
        print("任务{} down load success".format(data))
    
    
    '''
    输出结果：
    
    download video 1 finished at 2021-05-05 07:10:00
    任务1 down load success
    download video 2 finished at 2021-05-05 07:10:00
    任务2 down load success
    download video 3 finished at 2021-05-05 07:10:02
    任务3 down load success
    download video 4 finished at 2021-05-05 07:10:02
    任务4 down load success
    download video 5 finished at 2021-05-05 07:10:04
    任务5 down load success
    '''

代码分析：

5 个任务，2 个线程，由于在线程池构造的时候允许同时最多执行 2 个线程，所以同时执行任务 1 和任务 2 ，重代码的输出结果来看，任务 1 和任务 2 执行后，for 循环进入阻塞状态，直到任务 1 或者任务 2 结束之后才会 for 才会继续执行任务 3 / 任务 4 ，并保证同时执行的最多只有两个任务（关于自定义时间格式请参考：[**P**][P][**ython time 模块**][P]）.

### 2.线程池 map 函数使用 ###

**和 as\_completed 方法不同的是：map 方法能保证任务的顺序性**，举个例子：如果同时下载 5 个视频，就算第二个视频比第一个视频先下载完成，也会阻塞等待第一个视频下载完成并通知主线程之后，第二个下载完成的视频才回通知主线程，保证按照顺序完成任务，下面举个例子说明一下：

# !usr/bin/env python
    # -*- coding:utf-8 _*-
    """
    @Author:猿说编程
    @Blog(个人博客地址): www.codersrc.com
    @File:Python 线程池 ThreadPoolExecutor.py
    @Time:2021/05/05 07:37
    @Motto:不积跬步无以至千里，不积小流无以成江海，程序人生的精彩需要坚持不懈地积累！
    
    """
    
    
    from concurrent.futures import ThreadPoolExecutor, as_completed
    import time
    
    # 参数times用来模拟网络请求的时间
    def download_video(index):
        time.sleep(index)
        print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S', time.gmtime())))
        return index
    
    executor = ThreadPoolExecutor(max_workers=2)
    urls = [3, 2, 1, 4, 5]
    
    
    for data in executor.map(download_video,urls):
        print("任务{} down load success".format(data))
    
    
    '''
    输出结果：
    
    download video 2 finished at 2021-05-05 07:10:55
    download video 3 finished at 2021-05-05 07:10:56
    任务3 down load success
    任务2 down load success
    download video 1 finished at 2021-05-05 07:10:56
    任务1 down load success
    download video 4 finished at 2021-05-05 07:10:00
    任务4 down load success
    download video 5 finished at 2021-05-05 07:10:01
    任务5 down load success
    '''

代码分析：

重上面的输出结果看来，即便任务 2 比任务 3 先完成，for 循环输出的内容依旧是提示先完成的任务 3 再完成任务 2 ，根据列表 urls 顺序输出，保证任务的顺序性！

### 3.线程池 wait 函数使用 ###

\*\*wait 方法有点类似线程的 join 方法，能阻塞主线程，直到线程池中的所有的线程都操作完成！\*\*实例代码如下：

# !usr/bin/env python
    # -*- coding:utf-8 _*-
    """
    @Author:猿说编程
    @Blog(个人博客地址): www.codersrc.com
    @File:Python 线程池 ThreadPoolExecutor.py
    @Time:2021/05/05 07:37
    @Motto:不积跬步无以至千里，不积小流无以成江海，程序人生的精彩需要坚持不懈地积累！
    
    """
    
    
    from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED, FIRST_COMPLETED
    import time
    
    # 参数times用来模拟网络请求的时间
    def download_video(index):
        time.sleep(2)
        print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S', time.gmtime())))
        return index
    
    executor = ThreadPoolExecutor(max_workers=2)
    urls = [1, 2, 3, 4, 5]
    all_task = [executor.submit(download_video,(url)) for url in urls]
    
    wait(all_task,return_when=ALL_COMPLETED)
    
    print("main ")
    
    
    '''
    输出结果：
    
    download video 2 finished at 2021-05-05 07:10:22
    download video 1 finished at 2021-05-05 07:10:22
    download video 3 finished at 2021-05-05 07:10:24
    download video 4 finished at 2021-05-05 07:10:24
    download video 5 finished at 2021-05-05 07:10:26
    main
    '''

\*\* `wait` 方法接收 3 个参数，等待的任务序列、超时时间以及等待条件。等待条件 `return_when` 默认为 `ALL_COMPLETED` ，表明要等待所有的任务都结束。可以看到运行结果中，确实是所有任务都完成了，主线程才打印出 `main` 。等待条件还可以设置为 `FIRST_COMPLETED` ，表示第一个任务完成就停止等待。\*\*

## 三.**猜你喜欢** ##

1.  [Python 条件推导式][Python 3]
2.  [Python 列表推导式][Python 4]
3.  [Python 字典推导式][Python 5]
4.  [Python 函数声明和调用][Python 6]
5.  [Python 不定长参数 \*argc/\*\*kargcs][Python _ _argc_kargcs]
6.  [Python 匿名函数 lambda][Python _ lambda]
7.  [Python return 逻辑判断表达式][Python return]
8.  [Python 字符串/列表/元组/字典之间的相互转换][Python 7]
9.  [Python 局部变量和全局变量][Python 8]
10. [Python type 函数和 isinstance 函数区别][Python type _ isinstance]
11. [Python is 和 == 区别][Python is _ _]
12. [Python 可变数据类型和不可变数据类型][Python 9]
13. [Python 浅拷贝和深拷贝][Python 10]
14. [Python 文件读写操作][Python 11]
15. [Python 异常处理][Python 12]
16. [Python 模块 import][Python _ import]
17. [Python \_\_name\_\_ == ‘\_\_main\_\_’详细解释][Python _name_ _ _main]
18. [Python 线程创建和传参][Python 13]
19. [Python 线程互斥锁 Lock][Python _ Lock]
20. [Python 线程时间 Event][Python _ Event]
21. [Python 线程条件变量 Condition][Python _ Condition]
22. [Python 线程定时器 Timer][Python _ Timer]
23. [Python 线程信号量 Semaphore][Python _ Semaphore]
24. [Python 线程障碍对象 Barrier][Python _ Barrier]
25. [Python 线程队列 Queue – FIFO][Python _ Queue _ FIFO]
26. [Python 线程队列 LifoQueue – LIFO][Python _ LifoQueue _ LIFO]
27. [Python 线程优先队列 PriorityQueue][Python _ PriorityQueue]

未经允许不得转载：[猿说编程][Link 1] » [Python 线程池 ThreadPoolExecutor(二)][Python _ ThreadPoolExecutor 1]

[Python]: https://www.codersrc.com/python
[Python 1]: https://www.codersrc.com/pythonsimple
[Python _ ThreadPoolExecutor]: https://www.codersrc.com/archives/6707.html
[Python 2]: https://www.codersrc.com/
[for]: https://www.codersrc.com/archives/4953.html
[P]: https://www.codersrc.com/archives/5548.html
[Python 3]: https://www.codersrc.com/archives/5346.html
[Python 4]: https://www.codersrc.com/archives/5359.html
[Python 5]: https://www.codersrc.com/archives/5377.html
[Python 6]: https://www.codersrc.com/archives/5405.html
[Python _ _argc_kargcs]: https://www.codersrc.com/archives/5443.html
[Python _ lambda]: https://www.codersrc.com/archives/5756.html
[Python return]: https://www.codersrc.com/archives/5759.html
[Python 7]: https://www.codersrc.com/archives/5137.html
[Python 8]: https://www.codersrc.com/archives/5156.html
[Python type _ isinstance]: https://www.codersrc.com/archives/5214.html
[Python is _ _]: https://www.codersrc.com/archives/5288.html
[Python 9]: https://www.codersrc.com/archives/5271.html
[Python 10]: https://www.codersrc.com/archives/5492.html
[Python 11]: https://www.codersrc.com/archives/5928.html
[Python 12]: https://www.codersrc.com/archives/5966.html
[Python _ import]: https://www.codersrc.com/archives/5980.html
[Python _name_ _ _main]: https://www.codersrc.com/archives/5998.html
[Python 13]: https://www.codersrc.com/archives/6015.html
[Python _ Lock]: https://www.codersrc.com/archives/6048.html
[Python _ Event]: https://www.codersrc.com/archives/6486.html
[Python _ Condition]: https://www.codersrc.com/archives/6508.html
[Python _ Timer]: https://www.codersrc.com/archives/6538.html
[Python _ Semaphore]: https://www.codersrc.com/archives/6563.html
[Python _ Barrier]: https://www.codersrc.com/archives/6581.html
[Python _ Queue _ FIFO]: https://www.codersrc.com/archives/6609.html
[Python _ LifoQueue _ LIFO]: https://www.codersrc.com/archives/6651.html
[Python _ PriorityQueue]: https://www.codersrc.com/archives/6674.html
[Link 1]: https://www.codersrc.com
[Python _ ThreadPoolExecutor 1]: https://www.codersrc.com/archives/6732.html