Python系列之 - multiprocessing

因爲GIL的存在，python中的多線程其實並非真正的多線程，若是想要充分地使用多核CPU的資源，在python中大部分狀況須要使用多進程。

multiprocessing包是Python中的多進程管理包。與threading.Thread相似，它能夠利用multiprocessing.Process對象來建立一個進程。該進程能夠運行在Python程序內部編寫的函數。該Process對象與Thread對象的用法相同，也有start(), run(), join()的方法。此外multiprocessing包中也有Lock/Event/Semaphore/Condition類 (這些對象能夠像多線程那樣，經過參數傳遞給各個進程)，用以同步進程，其用法與threading包中的同名類一致。因此，multiprocessing的很大一部份與threading使用同一套API，只不過換到了多進程的情境。

調用方式1：
from multiprocessing import Process import time def f(name): time.sleep(1) print('hello', name,time.ctime()) if __name__ == '__main__': p_list=[] for i in range(3): p = Process(target=f, args=('alvin',)) p_list.append(p) p.start()
　　　　　# p.terminate()# 終止進程　 for i in p_list: p.join() print('end')

調用方式2：類繼承
from multiprocessing import Process import time class MyProcess(Process): def __init__(self): super(MyProcess, self).__init__() #self.name = name

    def run(self): time.sleep(1) print ('hello', self.name,time.ctime()) if __name__ == '__main__': p_list=[] for i in range(3): p = MyProcess() p.start() p_list.append(p) for p in p_list: p.join() print('end')

爲了顯示涉及的單個進程id，這裏有一個擴展現例:

from multiprocessing import Process import os import time def info(title): print("title:",title) print('parent process:',os.getppid()) print('process id:',os.getpid()) if __name__ == '__main__': info('main process line') time.sleep(3) print("------------------") p = Process(target=info,args=('yuan',)) p.start() p.join()

結果： title: main process line parent process: 3504 process id: 4072
------------------ title: yuan parent process: 4072 process id: 6024

  

 

構造方法： Process([group [, target [, name [, args [, kwargs]]]]]) 　　group: 線程組，目前尚未實現，庫引用中提示必須是None； 　　target: 要執行的方法； 　　name: 進程名； 　　args/kwargs: 要傳入方法的參數。 實例方法： 　　is_alive()：返回進程是否在運行。 　　join([timeout])：阻塞當前上下文環境的進程程，直到調用此方法的進程終止或到達指定的timeout（可選參數）。 　　start()：進程準備就緒，等待CPU調度 　　run()：strat()調用run方法，若是實例進程時未制定傳入target，這star執行t默認run()方法。 　　terminate()：無論任務是否完成，當即中止工做進程 屬性： 　　daemon：和線程的setDeamon功能同樣 　　name：進程名字。 　　pid：進程號。

Process類方法

  

進程間通信

1. 進程隊列Queue
2. 管道
3. Manangers

 進程對列Queue

from multiprocessing import Process, Queue import queue def f(q,n): #q.put([123, 456, 'hello'])
    q.put(n*n+1) print("son process",id(q)) if __name__ == '__main__': q = Queue()  #try: q=queue.Queue()
    print("main process",id(q)) for i in range(3): p = Process(target=f, args=(q,i)) p.start() print(q.get()) print(q.get()) print(q.get())

 

管道

from multiprocessing import Process, Pipe def f(conn): conn.send([12, {"name":"yuan"}, 'hello']) response=conn.recv() print("response",response) conn.close() print("q_ID2:",id(conn)) if __name__ == '__main__': parent_conn, child_conn = Pipe()

 print("q_ID :",id(parent_conn))

print("q_ID1:",id(child_conn)) p = Process(target=f, args=(child_conn,)) p.start() print(parent_conn.recv())   # prints "[42, None, 'hello']"
    parent_conn.send("兒子你好!") p.join()

Managers

Queue和pipe只是實現了數據交互，並沒實現數據共享，即一個進程去更改另外一個進程的數據。

from multiprocessing import Process, Manager def f(d, l,n): d[n] = '1' d['2'] = 2 d[0.25] = None l.append(n) #print(l)

    print("son process:",id(d),id(l)) if __name__ == '__main__': with Manager() as manager: d = manager.dict() l = manager.list(range(5)) print("main process:",id(d),id(l)) p_list = [] for i in range(10): p = Process(target=f, args=(d,l,i)) p.start() p_list.append(p) for res in p_list: res.join() print(d) print(l)