python创建线程池(threadpool模块和multiprocessing模块)

傷城~ 2021-06-22 15:37 428阅读 0赞

### 目录 ###

*   *  1.threadpool模块
     *  2.multiprocessing模块

## 1.threadpool模块 ##

**调入模块**

import threadpool

**创建线程池**

pool = threadpool.ThreadPool(10)

这里的"10"代表创建10个子线程

**规定线程池执行的任务**

tasks = threadpool.makeRequests(outdata,datalist)

outdata是函数名，datalist是一个参数列表，线程池会依次提取datalist中的参数引入到函数中来执行函数，所以参数列表的长度也就是线程池所要执行的任务数量。

**将要执行的任务放入线程池中**

[pool.putRequest(req) for req in tasks]

这里的结构是固定的，需要更改的就是 pool:线程池对象名 和 tasks:执行的任务对象名

**等待所有子线程执行完毕后退出**

pool.wait()

**实例**

import threadpool  #线程池模块
    import time
    
    def outdata(name):  #线程池执行的函数
        print("你好 %s" % name)
        time.sleep(3)
    
    time1 = time.time()
    datalist = []  #创建参数列表
    for i in range(10):
        datalist.append(i)
        
    pool = threadpool.ThreadPool(10) #线程池创建10个子线程
    tasks = threadpool.makeRequests(outdata,datalist)  #参数列表长度为10 所以要执行10个任务
    [pool.putRequest(req) for req in tasks]  #将要执行的任务放入线程池中
    pool.wait()  #等待所有子线程执行完毕后退出
    time2 = time.time()
    print(time2-time1)  #从开始到结束所用的时间

执行结果：

你好 0你好 1你好 2
    你好 3
    你好 4
    你好 5你好 6
    你好 7
    
    
    你好 8
    你好 9
    
    3.0033936500549316

所有任务在同一时刻执行完毕，所用时间为3秒

## 2.multiprocessing模块 ##

**调入模块**

from multiprocessing.dummy import Pool

**创建线程池**

pool = Pool(10)

**规定线程池执行的任务**

result = pool.map(outdata,datalist)

outdata为所要执行的函数，datalist为参数列表，和threadpool的方法是一样的，线程池也会依次在参数列表中提取参数带入函数中来执行函数，参数列表的长度也就是线程池所要执行的任务数量。

**等待所有子线程执行完毕后退出**

pool.join()

这里要注意的是，在执行 pool.join方法之前，要先执行：

pool.close()

执行完 pool.close 方法后就不有新的线程加入到pool中

**实例**

from multiprocessing.dummy import Pool
    import time
    
    def outdata(name):  #线程池所要执行的函数
        print("你好 %s" % name)
        time.sleep(3)
    
    time1 = time.time()
    datalist = []  #创建参数列表
    for i in range(10):
        datalist.append(i)
        
    pool = Pool(10)  #创建10个子线程
    result = pool.map(outdata,datalist)  # 参数列表长度为10 所以要执行10个任务
    pool.close()
    pool.join()  #等待所有子线程执行完毕后退出，在此之前要执行 .close 方法
    time2 = time.time()
    print(time2-time1)  #从开始到结束所用的时间

**执行结果：**

你好 0你好 1你好 2
    
    
    你好 3
    你好 4
    你好 5你好 6你好 7
    
    你好 8
    
    你好 9
    3.020441770553589

所有任务在同一时刻执行完毕，所用时间为3秒