多任務-python實現-多進程文件拷貝器（2.1.10）

目錄

• 1.需求
• 2.代碼

@(多進程文件拷貝器)

1.需求

當去拷貝一個文件夾的全部文件時，使用多任務拷貝
假如一個文件使用一個進程處理
10000個文件就額能夠使用最大值爲10的進程池處理（固然max取值看具體主機性能）
提升工做效率

2.代碼

import multiprocessing
import os
import time
import random


def copy_file(queue, file_name,source_folder_name,  dest_folder_name):
    """copy文件到指定的路徑"""
    f_read = open(source_folder_name + "/" + file_name, "rb")
    f_write = open(dest_folder_name + "/" + file_name, "wb")
    while True:
        time.sleep(random.random())
        content = f_read.read(1024)
        if content:
            f_write.write(content)
        else:
            break
    f_read.close()
    f_write.close()

    # 發送已經拷貝完畢的文件名字
    queue.put(file_name)


def main():
    # 獲取要複製的文件夾
    source_folder_name = input("請輸入要複製文件夾名字:")

    # 整理目標文件夾
    dest_folder_name = source_folder_name + "[副本]"

    # 建立目標文件夾
    try:
        os.mkdir(dest_folder_name)
    except:
        pass  # 若是文件夾已經存在，那麼建立會失敗

    # 獲取這個文件夾中全部的普通文件名
    file_names = os.listdir(source_folder_name)

    # 建立Queue
    queue = multiprocessing.Manager().Queue()

    # 建立進程池
    pool = multiprocessing.Pool(3)

    for file_name in file_names:
        # 向進程池中添加任務
        pool.apply_async(copy_file, args=(queue, file_name, source_folder_name, dest_folder_name))

    # 主進程顯示進度
    pool.close()

    all_file_num = len(file_names)
    while True:
        file_name = queue.get()
        if file_name in file_names:
            file_names.remove(file_name)

        copy_rate = (all_file_num-len(file_names))*100/all_file_num
        print("\r%.2f...(%s)" % (copy_rate, file_name) + " "*50, end="")
        if copy_rate >= 100:
            break
    print()


if __name__ == "__main__":
    main()

注意
引入queue的緣由是，主進程和子進程有通訊的需求，須要查看還有文件拷入與否
引入進度條概念