在不少場景中,咱們爲了保證數據的最終一致性,須要不少的技術方案來支持,好比分佈式事務、分佈式鎖等。那具體什麼是分佈式鎖,分佈式鎖應用在哪些業務場景、如何來實現分佈式鎖呢?redis
咱們在開發應用的時候,若是須要對某一個共享變量進行多線程同步訪問的時候,可使用咱們學到的鎖進行處理,而且能夠完美的運行,毫無Bug!
注意這是單機應用,後來業務發展,須要作集羣,一個應用須要部署到幾臺機器上而後作負載均衡,大體以下圖:數據庫
上圖能夠看到,變量A存在三個服務器內存中(這個變量A主要體現是在一個類中的一個成員變量,是一個有狀態的對象),若是不加任何控制的話,變量A同時都會在分配一塊內存,三個請求發過來同時對這個變量操做,顯然結果是不對的!即便不是同時發過來,三個請求分別操做三個不一樣內存區域的數據,變量A之間不存在共享,也不具備可見性,處理的結果也是不對的!
若是咱們業務中確實存在這個場景的話,咱們就須要一種方法解決這個問題!
爲了保證一個方法或屬性在高併發狀況下的同一時間只能被同一個線程執行,在傳統單體應用單機部署的狀況下,可使用併發處理相關的功能進行互斥控制。可是,隨着業務發展的須要,原單體單機部署的系統被演化成分佈式集羣系統後,因爲分佈式系統多線程、多進程而且分佈在不一樣機器上,這將使原單機部署狀況下的併發控制鎖策略失效,單純的應用並不能提供分佈式鎖的能力。爲了解決這個問題就須要一種跨機器的互斥機制來控制共享資源的訪問,這就是分佈式鎖要解決的問題!緩存
在分析分佈式鎖的三種實現方式以前,先了解一下分佈式鎖應該具有哪些條件:
一、在分佈式系統環境下,一個方法在同一時間只能被一個機器的一個線程執行;
二、高可用的獲取鎖與釋放鎖;
三、高性能的獲取鎖與釋放鎖;
四、具有可重入特性;
五、具有鎖失效機制,防止死鎖;
六、具有非阻塞鎖特性,即沒有獲取到鎖將直接返回獲取鎖失敗。服務器
目前幾乎不少大型網站及應用都是分佈式部署的,分佈式場景中的數據一致性問題一直是一個比較重要的話題。分佈式的CAP理論告訴咱們「任何一個分佈式系統都沒法同時知足一致性(Consistency)、可用性(Availability)和分區容錯性(Partition tolerance),最多隻能同時知足兩項。」因此,不少系統在設計之初就要對這三者作出取捨。在互聯網領域的絕大多數的場景中,都須要犧牲強一致性來換取系統的高可用性,系統每每只須要保證「最終一致性」,只要這個最終時間是在用戶能夠接受的範圍內便可。
在不少場景中,咱們爲了保證數據的最終一致性,須要不少的技術方案來支持,好比分佈式事務、分佈式鎖等。有的時候,咱們須要保證一個方法在同一時間內只能被同一個線程執行。多線程
基於數據庫實現分佈式鎖; 基於緩存(Redis等)實現分佈式鎖; 基於Zookeeper實現分佈式鎖;
基於數據庫的實現方式的核心思想是:在數據庫中建立一個表,表中包含方法名等字段,並在方法名字段上建立惟一索引,想要執行某個方法,就使用這個方法名向表中插入數據,成功插入則獲取鎖,執行完成後刪除對應的行數據釋放鎖。併發
(1)建立一個表:負載均衡
DROP TABLE IF EXISTS `method_lock`; CREATE TABLE `method_lock` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '主鍵', `method_name` varchar(64) NOT NULL COMMENT '鎖定的方法名', `desc` varchar(255) NOT NULL COMMENT '備註信息', `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`), UNIQUE KEY `uidx_method_name` (`method_name`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 COMMENT='鎖定中的方法';
(2)想要執行某個方法,就使用這個方法名向表中插入數據:分佈式
INSERT INTO method_lock (method_name, desc) VALUES ('methodName', '測試的methodName');
由於咱們對method_name
作了惟一性約束,這裏若是有多個請求同時提交到數據庫的話,數據庫會保證只有一個操做能夠成功,那麼咱們就能夠認爲操做成功的那個線程得到了該方法的鎖,能夠執行方法體內容。ide
(3)成功插入則獲取鎖,執行完成後刪除對應的行數據釋放鎖:
delete from method_lock where method_name ='methodName';
注意:這只是使用基於數據庫的一種方法,使用數據庫實現分佈式鎖還有不少其餘的玩法!
使用基於數據庫的這種實現方式很簡單,可是對於分佈式鎖應該具有的條件來講,它有一些問題須要解決及優化:
一、由於是基於數據庫實現的,數據庫的可用性和性能將直接影響分佈式鎖的可用性及性能,因此,數據庫須要雙機部署、數據同步、主備切換;
二、不具有可重入的特性,由於同一個線程在釋放鎖以前,行數據一直存在,沒法再次成功插入數據,因此,須要在表中新增一列,用於記錄當前獲取到鎖的機器和線程信息,在再次獲取鎖的時候,先查詢表中機器和線程信息是否和當前機器和線程相同,若相同則直接獲取鎖;
三、沒有鎖失效機制,由於有可能出現成功插入數據後,服務器宕機了,對應的數據沒有被刪除,當服務恢復後一直獲取不到鎖,因此,須要在表中新增一列,用於記錄失效時間,而且須要有定時任務清除這些失效的數據;
四、不具有阻塞鎖特性,獲取不到鎖直接返回失敗,因此須要優化獲取邏輯,循環屢次去獲取。
五、在實施的過程當中會遇到各類不一樣的問題,爲了解決這些問題,實現方式將會愈來愈複雜;依賴數據庫須要必定的資源開銷,性能問題須要考慮。
一、選用Redis實現分佈式鎖緣由:
(1)Redis有很高的性能;
(2)Redis命令對此支持較好,實現起來比較方便
二、使用命令介紹:
(1)SETNX
SETNX key val:當且僅當key不存在時,set一個key爲val的字符串,返回1;若key存在,則什麼都不作,返回0。
(2)expire
expire key timeout:爲key設置一個超時時間,單位爲second,超過這個時間鎖會自動釋放,避免死鎖。
(3)delete
delete key:刪除key
在使用Redis實現分佈式鎖的時候,主要就會使用到這三個命令。
三、實現思想:
(1)獲取鎖的時候,使用setnx加鎖,並使用expire命令爲鎖添加一個超時時間,超過該時間則自動釋放鎖,鎖的value值爲一個隨機生成的UUID,經過此在釋放鎖的時候進行判斷。
(2)獲取鎖的時候還設置一個獲取的超時時間,若超過這個時間則放棄獲取鎖。
(3)釋放鎖的時候,經過UUID判斷是否是該鎖,如果該鎖,則執行delete進行鎖釋放。
四、 分佈式鎖的簡單實現代碼:
#鏈接redis redis_client = redis.Redis(host="localhost", port=6379, password=password, db=10) #獲取一個鎖 lock_name:鎖定名稱 acquire_time: 客戶端等待獲取鎖的時間 time_out: 鎖的超時時間 def acquire_lock(lock_name, acquire_time=10, time_out=10): """獲取一個分佈式鎖""" identifier = str(uuid.uuid4()) end = time.time() + acquire_time lock = "string:lock:" + lock_name while time.time() < end: if redis_client.setnx(lock, identifier): # 給鎖設置超時時間, 防止進程崩潰致使其餘進程沒法獲取鎖 redis_client.expire(lock, time_out) return identifier elif not redis_client.ttl(lock): redis_client.expire(lock, time_out) time.sleep(0.001) return False #釋放一個鎖 def release_lock(lock_name, identifier): """通用的鎖釋放函數""" lock = "string:lock:" + lock_name pip = redis_client.pipeline(True) while True: try: pip.watch(lock) lock_value = redis_client.get(lock) if not lock_value: return True if lock_value.decode() == identifier: pip.multi() pip.delete(lock) pip.execute() return True pip.unwatch() break except redis.excetions.WacthcError: pass return False
五、測試剛纔實現的分佈式鎖
例子中使用50個線程模擬秒殺一個商品,使用–運算符來實現商品減小,從結果有序性就能夠看出是否爲加鎖狀態。
def seckill(): identifier=acquire_lock('resource') print(Thread.getName(),"得到了鎖") release_lock('resource',identifier) for i in range(50): t = Thread(target=seckill) t.start()
ZooKeeper是一個爲分佈式應用提供一致性服務的開源組件,它內部是一個分層的文件系統目錄樹結構,規定同一個目錄下只能有一個惟一文件名。基於ZooKeeper實現分佈式鎖的步驟以下:
(1)建立一個目錄mylock;
(2)線程A想獲取鎖就在mylock目錄下建立臨時順序節點;
(3)獲取mylock目錄下全部的子節點,而後獲取比本身小的兄弟節點,若是不存在,則說明當前線程順序號最小,得到鎖;
(4)線程B獲取全部節點,判斷本身不是最小節點,設置監聽比本身次小的節點;
(5)線程A處理完,刪除本身的節點,線程B監聽到變動事件,判斷本身是否是最小的節點,若是是則得到鎖。
這裏推薦一個Apache的開源庫Curator,它是一個ZooKeeper客戶端,Curator提供的InterProcessMutex是分佈式鎖的實現,acquire方法用於獲取鎖,release方法用於釋放鎖。
優勢:具有高可用、可重入、阻塞鎖特性,可解決失效死鎖問題。
缺點:由於須要頻繁的建立和刪除節點,性能上不如Redis方式。
上面的三種實現方式,沒有在全部場合都是完美的,因此,應根據不一樣的應用場景選擇最適合的實現方式。在分佈式環境中,對資源進行上鎖有時候是很重要的,好比搶購某一資源,這時候使用分佈式鎖就能夠很好地控制資源。固然,在具體使用中,還須要考慮不少因素,好比超時時間的選取,獲取鎖時間的選取對併發量都有很大的影響,上述實現的分佈式鎖也只是一種簡單的實現,主要是一種思想