多种方法实现 python 线程池

蔚落 2021-12-04 07:23 250阅读 0赞

运行环境：python 3.6.0

**1、过去：**

使用threadpool模块，这是个python的第三方模块，具体使用方式如下：

# -*- encoding: utf-8 -*-
    
    import threadpool
    import time
    
    
    def sayhello (a):
        print("hello: " + a)
        time.sleep(2)
    
    
    def main():
        global result
        seed = ["a", "b", "c"]
        """ 多线程 """
        start = time.time()
        task_pool = threadpool.ThreadPool(5)
    
        requests = threadpool.makeRequests(sayhello, seed)
        for req in requests:
            task_pool.putRequest(req)
        task_pool.wait()
        end = time.time()
        time_m = end - start
        print("time: " + str(time_m))
    
        """ 单线程 """
        start1 = time.time()
        for each in seed:
            sayhello(each)
        end1 = time.time()
        print("time1: " + str(end1 - start1))
    
    
    if __name__ == '__main__':
        run()
        main()
    
    
    # 运行结果
    """
    hello: a
    hello: b
    hello: c
    over
    hello: a
    hello: b
    hello: c
    time: 2.022491216659546
    hello: a
    hello: b
    hello: c
    time1: 6.006936311721802
    """

threadpool是一个比较老的模块了，现在虽然还有一些人在用，但已经不再是主流了，关于python多线程，现在已经开始步入未来（future模块）了。

2、未来：

使用concurrent.futures模块，这个模块是python3中自带的模块，但是，python2.7以上版本也可以安装使用，具体使用方式如下：

# -*- encoding: utf-8 -*-
    
    from concurrent.futures import ThreadPoolExecutor
    import time
    
    
    def sayhello(a):
        print("hello: " + a)
        time.sleep(2)
    
    
    def main():
        seed = ["a", "b", "c"]
    
        """ 单线程 """
        start1 = time.time()
        for each in seed:
            sayhello(each)
        end1 = time.time()
        print("time1: " + str(end1-start1))
        
        """ 多线程<submit> """
        start2 = time.time()
        with ThreadPoolExecutor(3) as executor:
            for each in seed:
                executor.submit(sayhello, each)
        end2 = time.time()
        print("time2: " + str(end2 - start2))
        
        """ 多线程<map> """
        start3 = time.time()
        with ThreadPoolExecutor(3) as executor1:
            executor1.map(sayhello, seed)
        end3 = time.time()
        print("time3: " + str(end3 - start3))
    
    
    if __name__ == '__main__':
        main()
    
    
    # 输出结果
    """
    hello: a
    hello: b
    hello: c
    time1: 6.018568754196167
    hello: a
    hello: b
    hello: c
    time2: 2.006592035293579
    hello: a
    hello: b
    hello: c
    time3: 2.0062594413757324
    """

注意到一点：

concurrent.futures.ThreadPoolExecutor，在提交任务的时候，有两种方式，一种是submit（）函数，另一种是map（）函数，两者的主要区别在于：

1. map可以保证输出的顺序, submit输出的顺序是乱的

2. 如果你要提交的任务的函数是一样的，就可以简化成map。但是假如提交的任务函数是不一样的，或者执行的过程之可能出现异常（使用map执行过程中发现问题会直接抛出错误）就要用到submit（）

3. submit和map的参数是不同的，submit每次都需要提交一个目标函数和对应的参数，map只需要提交一次目标函数，目标函数的参数放在一个迭代器（列表，字典）里就可以。