python 进程池

缺乏、安全感 2022-06-04 00:44 237阅读 0赞

multiprocessing.dummy replicates the API of multiprocessing but is no more than a wrapper around the threading module.

// 实际使用的是线程池而不是进程池

如果把

from multiprocessing.dummy import Pool  
改成  
from multiprocessing import Pool

则实际是进程池。

jobs = []
    jobs.append(Job(a,b,c));
    自己定义 Job 的类，jobs 是 job 实例的list.
    Class Job():
    	def __init__(self, a, b, c):
    		...
    	def do():
    		...
    	def after():
    		...

from multiprocessing.dummy import Pool
    pool = Pool(40)
            pool.map(merge_in_each_process, tuple(jobs))
            
    def doJob(job):
        job.do()
        job.after()

此时，可以实现40个并发，执行 job 的内容 job.do() 和 job.after().

可参考： [https://docs.python.org/2.7/library/multiprocessing.html\#module-multiprocessing.dummy][https_docs.python.org_2.7_library_multiprocessing.html_module-multiprocessing.dummy]

[https_docs.python.org_2.7_library_multiprocessing.html_module-multiprocessing.dummy]: https://docs.python.org/2.7/library/multiprocessing.html#module-multiprocessing.dummy

发表评论取消回复

表情：

评论列表（有 0 条评论，237人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python并发编程之进程池

前言：本博文主要讲解Python并发编程中的进程池（Pool）。友情链接： 1. [Python多进程中的multiprocessing][Python_multipr

忘是亡心i/ 2022年11月26日 00:48/ 0 赞/ 135 阅读

相关 Python中的多进程与进程池

Python中的多进程与进程池文章目录 Python中的多进程与进程池 1.multiprocessing类 2.multipro

灰太狼/ 2022年10月01日 11:55/ 0 赞/ 327 阅读

相关 Python：进程与进程池

进程使用方法 !/usr/bin/env python coding=utf-8 from multiprocessing import

我不是女神ヾ/ 2022年09月22日 15:51/ 0 赞/ 179 阅读

相关 Python 子进程与子进程池的应用

去年记录过一篇如何使用 Python 的线程，线程池的日志 [Python 多线程编程][Python], 需用到 threading.Thread, concurrent.f

今天药忘吃喽~/ 2022年09月10日 01:21/ 0 赞/ 219 阅读

相关 Python多进程之进程池

由于Python中线程封锁机制，导致Python中的多线程并不是正真意义上的多线程。当我们有并行处理需求的时候，可以采用多进程迂回地解决。如果要在主进程中启动大量的子进程，

迈不过友情╰/ 2022年06月18日 10:40/ 0 赞/ 284 阅读

相关 python 进程池

multiprocessing.dummy replicates the API of multiprocessing but is no more than a wrappe

缺乏、安全感/ 2022年06月04日 00:44/ 0 赞/ 238 阅读

相关 Python进程、进程池以及进程间通信

概念进程进程是系统进行资源分配和调度的基本单位，是操作系统结构的基础。简单可以理解为正在运行的程序的实例，都会有一个pid作为标识。多任务

怼烎@/ 2022年06月03日 00:11/ 0 赞/ 296 阅读

相关 python进程池：multiprocessing.pool

在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用multiprocess

傷城~/ 2022年06月01日 13:19/ 0 赞/ 185 阅读

相关 python之进程池和线程池

进程池和线程池 1.可以重复利用的线程 !/usr/bin/env python -- coding: utf-8 -- @Time

系统管理员/ 2022年05月10日 14:34/ 0 赞/ 272 阅读

相关 Python并发编程之线程池/进程池

> 原文来自开源中国前言 python标准库提供线程和多处理模块来编写相应的多线程/多进程代码，但当项目达到一定规模时，频繁地创建/销毁进程或线程是非常消耗资源的，此时我

刺骨的言语ヽ痛彻心扉/ 2022年03月14日 12:24/ 0 赞/ 364 阅读