Python程序中的進程操做-進程同步(multiprocess.Lock)

目錄

• 1、多進程搶佔輸出資源
• 2、使用鎖維護執行順序
• 3、多進程同時搶購餘票
• 4、使用鎖來保證數據安全

經過剛剛的學習，咱們想方設法實現了程序的異步，讓多個任務能夠同時在幾個進程中併發處理，他們之間的運行沒有順序，一旦開啓也不受咱們控制。儘管併發編程讓咱們能更加充分的利用IO資源，可是也給咱們帶來了新的問題：當多個進程使用同一份數據資源的時候，就會引起數據安全或順序混亂問題。

1、多進程搶佔輸出資源

import os
import time
import random
from multiprocessing import Process

def work(n):
    print('%s: %s is running' %(n,os.getpid()))
    time.sleep(random.random())
    print('%s:%s is done' %(n,os.getpid()))

if __name__ == '__main__':
    for i in range(3):
        p=Process(target=work,args=(i,))
        p.start()

2、使用鎖維護執行順序

# 由併發變成了串行,犧牲了運行效率,但避免了競爭
import os
import time
import random
from multiprocessing import Process,Lock

def work(lock,n):
    lock.acquire()
    print('%s: %s is running' % (n, os.getpid()))
    time.sleep(random.random())
    print('%s: %s is done' % (n, os.getpid()))
    lock.release()
if __name__ == '__main__':
    lock=Lock()
    for i in range(3):
        p=Process(target=work,args=(lock,i))
        p.start()

上面這種狀況雖然使用加鎖的形式實現了順序的執行，可是程序又從新變成串行了，這樣確實會浪費了時間，卻保證了數據的安全。

接下來，咱們以模擬搶票爲例，來看看數據安全的重要性。

3、多進程同時搶購餘票

# 文件db的內容爲：{"count":1}
# 注意必定要用雙引號，否則json沒法識別
# 併發運行，效率高，但競爭寫同一文件，數據寫入錯亂
from multiprocessing import Process,Lock
import time,json,random
def search():
    dic=json.load(open('db'))
    print('剩餘票數%s' %dic['count'])

def get():
    dic=json.load(open('db'))
    time.sleep(0.1)  # 模擬讀數據的網絡延遲
    if dic['count'] >0:
        dic['count']-=1
        time.sleep(0.2)  # 模擬寫數據的網絡延遲
        json.dump(dic,open('db','w'))
        print('購票成功')

def task():
    search()
    get()

if __name__ == '__main__':
    for i in range(100):  # 模擬併發100個客戶端搶票
        p=Process(target=task)
        p.start()

4、使用鎖來保證數據安全

# 文件db的內容爲：{"count":5}
# 注意必定要用雙引號，否則json沒法識別
# 併發運行，效率高，但競爭寫同一文件，數據寫入錯亂
from multiprocessing import Process,Lock
import time,json,random
def search():
    dic=json.load(open('db'))
    print('剩餘票數%s' %dic['count'])

def get():
    dic=json.load(open('db'))
    time.sleep(random.random())  # 模擬讀數據的網絡延遲
    if dic['count'] >0:
        dic['count']-=1
        time.sleep(random.random())  # 模擬寫數據的網絡延遲
        json.dump(dic,open('db','w'))
        print('購票成功')
    else:
        print('購票失敗')

def task(lock):
    search()
    lock.acquire()
    get()
    lock.release()

if __name__ == '__main__':
    lock = Lock()
    for i in range(100):  # 模擬併發100個客戶端搶票
        p=Process(target=task,args=(lock,))
        p.start()

加鎖能夠保證多個進程修改同一塊數據時，同一時間只能有一個任務能夠進行修改，即串行的修改，沒錯，速度是慢了，但犧牲了速度卻保證了數據安全。

雖然能夠用文件共享數據實現進程間通訊，但問題是：

1. 效率低（共享數據基於文件，而文件是硬盤上的數據）
2. 須要本身加鎖處理

所以咱們最好找尋一種解決方案可以兼顧：

1. 效率高（多個進程共享一塊內存的數據）
2. 幫咱們處理好鎖問題。這就是mutiprocessing模塊爲咱們提供的基於消息的IPC通訊機制：隊列和管道。

隊列和管道都是將數據存放於內存中，隊列又是基於（管道+鎖）實現的，可讓咱們從複雜的鎖問題中解脫出來，咱們應該儘可能避免使用共享數據，儘量使用消息傳遞和隊列，避免處理複雜的同步和鎖問題，並且在進程數目增多時，每每能夠得到更好的可獲展性。