Python爬虫基础讲解（二十）：多进程——multiprocessing模块的使用

偏执的太偏执、 2022-10-05 01:48 217阅读 0赞

### **Python爬虫、数据分析、网站开发等案例教程视频免费在线观看** ###

https://space.bilibili.com/523606542

# [Python学习交流群：1039649593][Python_1039649593] #

# multiprocessing模块 #

multiprocessing包是Python中的多进程管理包。与threading.Thread类似，它可以使用multiprocessing.Proces 对象来创建一个进程。

该进程可以运行在Python程序内部编写的函数。该Process对象与Thread对象的用法相同，也start(),run()的方法。

此外multiprocessing包中也有Lock/Event/Semaphore/Condition类(这些对象可以像多线程那样，通过参数传递给各个进程)，用以同步进程，其用法与threading包中的同名类一致。

所以，multiprocessing的很大一部份与threading使用同一套API，只不过换到了多进程的情境。接下来我们通过一个案例学习:

import time
    import multiprocessing
    
    def download () :
        print("开始下载文件...")
        time.sleep(1)
        print("完成下载文件...")
    
    def upload() :
        print("开始上传文件...")
        time.sleep(1)
        print("完成上传文件...")
    
    #download()
    # upload()
    #多进程与多线程的使用方式是差不多的
    download_process = multiprocessing.Process(target=download)
    upload_process = multiprocessing. Process(target=upload)
    if _name_ == '_main_':
        #多进程必须要在 if _name_ == "_main_”里面
        download_process.start()
        upload_process.start ()
        #默认情况下，主进程代码运行完毕之后会等待子进程结束
        print('--主进程运行完了---')

上述代码是一个非常简单的程序，一旦运行这个程序，按照代码的执行顺序，download 函数执行完毕后才能执行upload 函数﹒如果可以让download和upload同时运行，显然执行这个程序的效率会大大提升。

![a9738b00bf1900252837bcd1d7b6ba51.png][]

**要点：**

*  进程(Process)是资源分配的最小单位
 *  多进程是Python程序中实现多任务的一种方式，使用多进程可以大大提高程序的执行效率

# 1. 进程的创建 #

*  导入进程包  
    import multiprocessing
 *  通过进程类创建进程对象  
    进程对象= multiprocessing.Process()
 *  启动进程执行任务  
    进程对象.start()

通过进程类创建进程对象  
进程对象=multiprocessing.Process(target=任务名)

![f5255914560d07b93aa8d6b5e288f43f.png][]

# 2. 进程的参数传递 #

带有参数的任务

![475303bc898204d6b0c963649483e180.png][]

进程执行带有参数的任务传参有两种方式：

*  元组方式传参∶元组方式传参一定要和参数的顺序保持一致。
 *  字典方式传参:字典方式传参字典中的key一定要和参数名保持一致。

[Python_1039649593]: https://jq.qq.com/?_wv=1027&k=SBLaYU2c
[a9738b00bf1900252837bcd1d7b6ba51.png]: /images/20221005/f57d26b4d44541ecb7a79f56eea37192.png
[f5255914560d07b93aa8d6b5e288f43f.png]: /images/20221005/8729b953f06441aaab3f609527408824.png
[475303bc898204d6b0c963649483e180.png]: /images/20221005/d53efad69e09461c9b64325a371f2119.png