Python 基础之多任务 Process 进程应用的简单案例，简单实现文件夹文件拷贝（进程池，进程池队列等）

缺乏、安全感 2022-10-29 07:31 95阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70][]

# Python 基础 之 多任务 Process 进程应用的简单案例，简单实现文件夹文件拷贝（进程池，进程池队列等） #

**目录**

Python 基础 之 多任务 Process 进程应用的简单案例，简单实现文件夹文件拷贝（进程池，进程池队列等）

一、简单介绍

二、实现原理

三、注意事项

四、效果预览

五、实现步骤

六、关键代码

--------------------

## 一、简单介绍 ##

Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet 开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。

本节简单介绍，使用 python 中的进程实现简单的文件夹的文件拷贝功能。

> **进程、状态、进程池Pool、进程池中的Queue、**
> 
> 1）进程
> 
> 程序：例如xxx.py这是程序，是一个静态的
> 
> 进程：一个程序运行起来后，代码+用到的资源 称之为进程，它是操作系统分配资源的基本单元。
> 
> 不仅可以通过线程完成多任务，进程也是可以的
> 
> 2）进程的状态
> 
> 工作中，任务数往往大于cpu的核数，即一定有一些任务正在执行，而另外一些任务在等待cpu进行执行，因此导致了有了不同的状态
> 
> ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 1][]
> 
>  *  就绪态：运行的条件都已经慢去，正在等在cpu执行
>  *  执行态：cpu正在执行其功能
>  *  等待态：等待某些条件满足，例如一个程序sleep了，此时就处于等待态
> 
>  
> 
> 3）进程池Pool
> 
> 当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态成生多个进程，但如果是上百甚至上千个目标，手动的去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法。
> 
> 初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到指定的最大值，那么该请求就会等待，直到池中有进程结束，才会用之前的进程来执行新的任务。
> 
>  
> 
> 4）进程池中的Queue
> 
> 如果要使用Pool创建进程，就需要使用multiprocessing.Manager()中的Queue()，而不是multiprocessing.Queue()，否则会得到一条如下的错误信息：
> 
> RuntimeError: Queue objects should only be shared between processes through inheritance.

## 二、实现原理 ##

1、multiprocessing.Pool()  创建进程池，使用子进程进行文件拷贝

2、multiprocessing.Manager().Queue()，文件拷贝结束，把文件名添加到队列中

3、文件读写实现拷贝

## 三、注意事项 ##

1、尽量保证子进程的代码，没有错误哦，因为子进程的报错不会再控制台上显示

2、使用进程池的时候，队列使用 multiprocessing.Manager().Queue()，而非 multiprocessing.Queue()

## 四、效果预览 ##

![20210209122601948.gif][]

## 五、实现步骤 ##

1、打开 pycharm 新建一个工程，即可新建一个python文件

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 2][]

2、创建一个文件夹，添加一些文件，用于拷贝测试使用

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 3][]

3、编写代码，使用进程实现拷贝指定文件夹文件的功能

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 4][]

4、运行脚本，输入测试文件夹名称，进行拷贝，效果如上

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 5][]

## 六、关键代码 ##

import multiprocessing
    import os, time, random
    
    
    def run_process_copy_file(queue, file_name, source_folder_name, destination_folder_name):
        """
        把指定文件夹的文件拷贝到新的文件夹内备份
        （注意：子进程中报错，是不会在控制台显示的）
        :param queue: 进程池队列
        :param file_name: 拷贝的文件名
        :param source_folder_name: 源文件夹
        :param destination_folder_name: 目标文件夹
        :return:
        """
        file_read = open(source_folder_name+"/"+file_name, 'rb')
        file_write = open(destination_folder_name+"/"+file_name, 'wb')
        while True:
            time.sleep(random.random())
            file_content = file_read.read(1024)
            if file_content:
                file_write.write(file_content)
            else:
                break
    
        # 关闭数据
        file_read.close()
        file_write.close()
    
        # 把拷贝完的文件名入队
        queue.put(file_name)
    
        pass
    
    
    def main():
    
        # 输入要拷贝文件夹的名称
        source_folder_name = input("请输入要拷贝文件夹的名称：")
    
        # 新建一个拷贝文件
        destination_folder_name = source_folder_name + "[复本]"
        try:
            os.mkdir(destination_folder_name)
        except:
            print("该文件夹已存在！！")
            pass
    
        # 获取该文件下的所有文件名
        file_names = os.listdir(source_folder_name)
    
        # 创建进程池队列
        queue = multiprocessing.Manager().Queue()
    
        # 创建进程池，并向进程池添加任务，任务添加完后，关闭进程池
        pool = multiprocessing.Pool(3)
        for file_name in file_names:
            pool.apply_async(run_process_copy_file, args=(queue, file_name, source_folder_name, destination_folder_name))
        pool.close()
    
        all_files_length = len(file_names)
        file_copied_count = 0
    
        # 拷贝进度显示
        while True:
            file_name = queue.get()
            if file_name in file_names:
                file_names.remove(file_name)
    
            copy_rate = (all_files_length-len(file_names)) * 100 / all_files_length
            print("\r %s 拷贝完，进度 %.2f %%" % (file_name, copy_rate) + ""*50, end="")
    
            if copy_rate >= 100:
                break
    
        print("\n文件夹拷贝结束...")
    
        pass
    
    
    if __name__ == '__main__':
        main()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 6][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70]: /images/20221024/2c2e5fe899b8468ea49946b710185f2c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 1]: /images/20221024/bf1bf32acce3417e9360f6ed1e21bd37.png
[20210209122601948.gif]: /images/20221024/b930afd40c8e4dbeb7d5efe96efbedfe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 2]: /images/20221024/5552b901345f4d21afdb7834df11c4cb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 3]: /images/20221024/e2258aa167534d2ca41112f8403b603a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 4]: /images/20221024/930a00fc0199460492069932c1070a12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 5]: /images/20221024/1a0b3f9a1d4f4a278c10b7866e76994a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 6]: /images/20221024/23b7f1a935814bb2968fc71b636c31d1.png