python多進程編程中經常能用到的幾種方法

python中的多線程其實並非真正的多線程，若是想要充分地使用多核CPU資源，在python中大部分狀況須要使用多進程。python提供了很是好用的多進程包Multiprocessing，只須要定義一個函數，python會完成其它全部事情。藉助這個包，能夠輕鬆完成從單進程到併發執行的轉換。multiprocessing支持子進程、通訊和共享數據、執行不一樣形式的同步，提供了Process、Queue、Pipe、LocK等組件

1、Process

語法：Process([group[,target[,name[,args[,kwargs]]]]])

參數含義：target表示調用對象；args表示調用對象的位置參數元祖；kwargs表示調用對象的字典。name爲別名，groups實際上不會調用。

方法：is_alive()：

　　　join(timeout)：

　　　run()：

　　　start()：

　　　terminate()：

屬性：authkey、daemon(要經過start()設置)、exitcode(進程在運行時爲None、若是爲-N，表示被信號N結束)、name、pid。其中daemon是父進程終止後自動終止，且本身不能產生新的進程，必須在start()以前設置。

1.建立函數，並將其做爲單個進程

from multiprocessing import Process
def func(name):
    print("%s曾經是好人"%name)

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()   #start()通知系統開啓這個進程

2.建立函數並將其做爲多個進程

from multiprocessing import Process
import random,time

def hobby_motion(name):
    print('%s喜歡運動'% name)
    time.sleep(random.randint(1,3))

def hobby_game(name):
    print('%s喜歡遊戲'% name)
    time.sleep(random.randint(1,3))

if __name__ == "__main__":
    p1 = Process(target=hobby_motion,args=('付婷婷',))
    p2 = Process(target=hobby_game,args=('科比',))
    p1.start()
    p2.start()

執行結果：

付婷婷喜歡運動
科比喜歡遊戲

3.將進程定義爲類（開啓進程的另外一種方法，並非很經常使用）

from multiprocessing import Process
class MyProcess(Process):
    def __init__(self,name):
        super().__init__()
        self.name = name

    def run(self):  #start()時，run自動調用，並且此處只能定義爲run。
        print("%s曾經是好人"%self.name)

if __name__ == "__main__":
    p = MyProcess('kebi')
    p.start()  #將Process看成父類，而且自定義一個函數。

4.daemon程序對比效果

不加daemon屬性

import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()
    print("this is over")

#執行結果
this is over
work start:Thu Nov 30 16:12:00 2017
work end:Thu Nov 30 16:12:02 2017

加上daemon屬性

from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.daemon = True   #父進程終止後自動終止，不能產生新進程，必須在start()以前設置
    p.start()
    print("this is over")

#執行結果
this is over

設置了daemon屬性又想執行完的方法：

import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.daemon = True
    p.start()
    p.join()  #執行完前面的代碼再執行後面的
    print("this is over")

#執行結果
work start:Thu Nov 30 16:18:39 2017
work end:Thu Nov 30 16:18:41 2017
this is over

5.join()：上面的代碼執行完畢以後，纔會執行後i面的代碼。

先看一個例子：

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p1.start()
    p2.start()
    print("this is over")

執行結果：

this is over   #最後執行，最早打印，說明start()只是開啓進程，並非說必定要執行完
A lifelong friend:kebi,12048
A lifelong friend:maoxian,8252
A lifelong friend:xiaoniao,6068
Good bother:maoxian   #最早打印，第二位執行
Good bother:kebi     
Good bother:xiaoniao

添加join（）

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p.join()   #上面的代碼執行完畢以後，再執行後面的
    p1.start()
    p1.join()
    p2.start()
    p2.join()
    print("this is over")
    print(time.time() - start)

#執行結果
A lifelong friend:kebi,14804
Good bother:kebi
A lifelong friend:maoxian,11120
Good bother:maoxian
A lifelong friend:xiaoniao,10252  #每一個進程執行完了，纔會執行下一個
Good bother:xiaoniao
this is over
6.497815370559692   #2+1+3+主程序執行時間

改變一下位置

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p1.start()
    p2.start()
    p.join()   #須要2秒
    p1.join()  #到這時已經執行完
    p2.join()   #已經執行了2秒，還要1秒
    print("this is over")
    print(time.time() - start)

#執行結果

A lifelong friend:kebi,13520
A lifelong friend:maoxian,11612
A lifelong friend:xiaoniao,17064  #幾乎是同時開啓執行
Good bother:maoxian
Good bother:kebi
Good bother:xiaoniao
this is over
3.273620367050171  #以最長時間的爲主

6.其它屬性和方法

from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()
    p.terminate()  #將進程殺死，並且必須放在start()後面，與daemon的功能相似

#執行結果
this is over

from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    # p.daemon = True
    print(p.is_alive())
    p.start()
    print(p.name)   #獲取進程的名字
    print(p.pid)    #獲取進程的pid
    print(p.is_alive())  #判斷進程是否存在
    print("this is over")