Python經過Manager方式實現多個無關聯進程共享數據

Python官方文檔
Python實現多進程間通訊的方式有不少種,例如隊列,管道等。
可是這些方式只適用於多個進程都是源於同一個父進程的狀況。
若是多個進程不是源於同一個父進程,只能用共享內存,信號量等方式,可是這些方式對於複雜的數據結構,例如Queue,dict,list等,使用起來比較麻煩,不夠靈活。
Manager是一種較爲高級的多進程通訊方式,它能支持Python支持的的任何數據結構。
它的原理是:先啓動一個ManagerServer進程,這個進程是阻塞的,它監聽一個socket,而後其餘進程(ManagerClient)經過socket來鏈接到ManagerServer,實現通訊。html

manager.py代碼,實現server和client兩個類python

# encoding=utf-8
__author__ = 'kevinlu1010@qq.com'
'''
進程間通訊
'''
from multiprocessing.managers import BaseManager
from multiprocessing import RLock

MANAGER_PORT = 6000
MANAGER_DOMAIN = '0.0.0.0'
MANAGER_AUTH_KEY = 'aaaaaaaaaaaaaaa'

#定義一個Manager類
class InfoManager(BaseManager): pass


class DictItem():
    def __init__(self, ):
        self.items = dict()

    def set(self, key, value):
        self.items[key] = value

    def get(self, key):
        return self.items.get(key)

    def __setitem__(self, key, value):
        self.set(key, value)

#爲這個manager類註冊存儲容器,也就是經過這個manager類實現的共享的變量,
#這個變量最好是一個類實例,本身定義的或者python自動的類的實例均可以
#這裏不能把d改爲dict(),由於Client那邊執行d['keyi']='value'的時候會報錯:d這個變量不能修改
d = DictItem()
lock = RLock()
InfoManager.register('dict', callable=lambda: d)
InfoManager.register('open_qq_login_lock', callable=lambda: lock)


class ManagerServer():
    '''
    multiprocess Manager服務類
    '''

    def __init__(self, domain, port, auth_key):
        self.domain = domain
        self.port = port
        self.auth_key = auth_key

    def start_manager_server(self):
        self.queue_manager = InfoManager(address=('', self.port), authkey=self.auth_key)
        # self.dict = self.queue_manager.dict()
        self.server = self.queue_manager.get_server()

    def run(self):
        self.start_manager_server()
        self.server.serve_forever()

    def stop(self):
        self.server.shutdown()
        self.is_stop = 1


class ManagerClient():
    '''
    訪問mutiprocess Manager的類
    '''

    def __init__(self, domain, port, auth_key):
        self.domain = domain
        self.port = port
        self.auth_key = auth_key
        # self.get_share_dict()
        self.info_manager = InfoManager(address=(self.domain, self.port), authkey=self.auth_key)
        self.info_manager.connect()

    def get_dict(self):
        # self.dict = m.dict()
        self.dict = self.info_manager.dict()
        return self.dict

    def get_open_qq_login_lock(self):
        self.open_qq_login_lock = self.info_manager.open_qq_login_lock()
        return self.open_qq_login_lock


if __name__ == '__main__':
    pass

用法
1.啓動一個ManagerServer,這個進程是阻塞的數據結構

import manager

def run():
    manager_server = manager.ManagerServer(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)
    manager_server.run()
if __name__ == '__main__':
    run()

2.實例化一個client,獲取共享的變量dom

# 進程間共享變量
manager_client = manager.ManagerClient(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)
share_dict = manager_client.get_dict()
open_qq_login_lock = manager_client.get_open_qq_login_lock()

注意:
1.對client獲取的變量修改,不會影響server那邊的變量,例如server中,client1獲取變量params1,把它修改成params2,server那邊的數據不會修改。若是要修改server的數據,須要調用server的方法,把server那邊的數據刷新。socket

相關文章
相關標籤/搜索