分佈式鎖機制原理及實現方式

前言

1. 分佈式鎖，是控制分佈式系統之間同步訪問共享資源的一種方式
2. 在分佈式系統中，經常須要協調他們的動做。若是不一樣的系統或是同一個系統的不一樣主機之間共享了一個或一組資源，那麼訪問這些資源的時候，每每須要互斥來防止彼此干擾來保證一致性，在這種狀況下，便須要使用到分佈式鎖。
3. 這裏主要簡單介紹三種方式：基於數據庫實現方式、基於redis實現方式、基於ZooKeeper實現方式。

場景舉例

1. 假設有一個進程A，每小時準點給用戶發送一條短信"Hello world"，爲了高可用，就必須在多臺機器上面部署多個進程，避免宕機的狀況；
2. 假設部署在兩臺機器，那麼問題來了，用戶每一個小時就會收到兩條"Hello world"，信息就重複了；
3. 咱們但願只發送一條"Hello world"，那麼就能夠引入分佈式鎖的概念了；
4. 進程A和進程B發送短信前先去註冊一個鎖，假設進程A搶到了鎖，進程B就等待結果，若是發送成功了，那麼B就放棄這次任務，等待下一個小時。
5. 問題的核心就在於怎麼註冊鎖，檢查鎖的存在和註冊鎖是一個原子性操做，相似mysql的主鍵，存在則不能insert，就是說你不能把個人鎖覆蓋了，你得等着；
6. 咱們有多種方式能夠實現分佈式鎖，最簡單的就是以每小時準點這個時間做爲主鍵，到mysql寫入一條數據，利用數據庫來維持一致性。

爲何要使用分佈式鎖

1. 咱們在開發應用的時候，若是須要對某一個共享變量進行多線程同步訪問的時候，可使用咱們學到的java多線程解決。
2. 注意這是單機應用，也就是全部的請求都會分配到當前服務器的jvm內部，而後映射爲操做系統的線程進行處理，而這個共享變量只是在這個jvm內部的一塊內存空間。

1. 後來業務發展，須要作集羣，一個應用須要部署到幾臺機器上而後作負載均衡，大體以下圖：
   

2. 上圖分析：

   ``` （1）變量A存在JVM一、JVM二、JVM3三個JVM內存中（這個變量A主要體現是在一個類中的一個成員變量，是一個有狀態的對象），若是不加任何控制的話，變量A同時都會在JVM一、JVM二、JVM3中分配一塊內存； （2）三個請求發過來同時對這個變量進行操做，顯然結果是不一樣的。 （3）即便不是同時發過來，三個請求分別操做三個不一樣JVM內存區域的數據，變量A之間不存在共享，也不具備可見性，處理的結果也是不對的。 （4）若是咱們業務中存在這種場景的話，咱們就須要一種方法解決這個問題。 ```
3. 爲了保證一個方法或者屬性在高併發狀況下的同一時間只能被同一個線程執行，在傳統單機應用單機部署的狀況下，可使用java併發處理的相關API進行互斥控制（如ReentrantLock或Synchronized）。
4. 在單機環境中，java中提供了不少併發處理相關的API。
5. 可是隨着業務發展的須要，原單體單機部署的系統被演化成分佈式集羣系統後，因爲分佈式系統多線程、多進程而且分佈在不一樣機器上，這將使原單機部署狀況下的併發控制鎖策略失效，單純的java API並不能提供分佈式鎖的能力。
6. 爲了解決這個問題，就須要一種跨JVM的互斥機制來控制共享資源的訪問，這就是分佈式鎖要解決的問題。

分佈式鎖應該具有的條件

1. 在分佈式系統環境下，一個方法在同一時間只能被一個機器的的一個線程執行；
2. 高可用的獲取鎖與釋放鎖；
3. 高性能的獲取鎖與釋放鎖；
4. 具有可重入特性；
5. 具有鎖失效機制，防止死鎖；
6. 具有非阻塞鎖特性，即沒有獲取到鎖將直接返回獲取鎖失敗。

分佈式鎖實現方式-前言

1. 目前幾乎不少大型網站及應用都是分佈式部署的，分佈式場景中的數據一致性問題一直是一個比較重要的話題。
2. 分佈式的CAP理論告訴咱們，任何一個分佈式系統都沒法同時知足一致性、可用性、和分區容錯性，最多隻能同時知足兩項。
3. 因此，不少系統在設計之初就對這三項作了取捨。在互聯網領域的絕大多數的場景中，都須要犧牲強一致性來換取系統的高可用性，系統每每只須要保證最終一致性，只要這個最終時間實在用戶能夠接受的範圍內便可。
4. 在不少場景中，咱們爲例保證數據的最終一致性，須要不少的技術方案來支持，好比分佈式事務、分佈式鎖等，有時候咱們須要保證一個方法在同一個線程執行。
5. 基於數據庫實現分佈式鎖；基於緩存redis等實現分佈式鎖；基於Zookeeper實現分佈式鎖。

基於數據庫的實現方式

1. 基於數據庫的實現方式核心思想：在數據庫中建立一個表，表中包含方法名等字段，並在方法名字段上建立惟一索引，想要執行某個方法，就使用這個方法名向表中插入數據，成功插入則獲取鎖，執行完成後刪除對應的行數據釋放鎖。

2. 建立一個表：

   ``` DROP TABLE IF EXISTS `method_lock`; CREATE TABLE `method_lock` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '主鍵', `method_name` varchar(64) NOT NULL COMMENT '鎖定的方法名', `desc` varchar(255) NOT NULL COMMENT '備註信息', `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`), UNIQUE KEY `uidx_method_name` (`method_name`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 COMMENT=‘鎖定中的方法'; ```

3. 想要執行某個方法，就使用這個方法名向表中插入數據：

   ``` INSERT INTO method_lock (method_name, desc) VALUES ('methodName', ‘測試的methodName'); ```
4. 由於咱們對method_name作了惟一約束，這裏若是有多個請求同時提交到數據庫的話，數據庫會保證只有一個操做能夠成功，那麼咱們就能夠認爲操做成功的那個線程得到了該方法的鎖，能夠執行方法體內容。

5. 成功插入則獲取鎖，執行完成後刪除對應的行數據釋放鎖：

   ``` delete from method_lock where method_name ='methodName'; ```

6. 使用基於數據庫的這種實現方式很簡單，可是對於分佈式鎖應該具有的條件來講，它有一些問題須要解決及優化：

   ``` （1）由於是基於數據庫實現的，數據庫的可用性和性能將直接影響分佈式鎖的可用性及性能，因此，數據庫須要雙機部署、數據同步、主備切換。 （2）不具有可重入的特性，由於同一個線程在釋放鎖以前，行數據一直存在，沒法再次成功插入數據，因此，須要在表中新增一列，用於記錄當前獲取到鎖的機器和線程信息，在再次獲取鎖的時候，先查詢表中機器和線程信息是否和當前機器和線程信息相同，若相同則直接獲取鎖； （3）沒有鎖失效機制，由於有可能出現成功插入數據後，服務器宕機了，對應的數據沒有被刪除，當服務恢復後一直獲取不到鎖，因此，須要在鎖中新增一列，用於記錄失效時間，而且須要有定時任務清除這些失效的數據； （4）不具有阻塞鎖特性，獲取不到鎖直接返回失敗，因此須要優化獲取邏輯，循環屢次去獲取。 ```
7. 在實施過程當中會遇到各類不一樣問題，爲了解決這些問題，實現方式將會愈來愈複雜；依賴數據庫須要必定的資源開銷，性能問題須要考慮。

基於redis的實現方式

1. 選擇redis分佈式鎖的緣由：

   ``` （1）redis有很高的性能； （2）redis對此支持的命令較好，實現起來比較方便 ```

2. 使用分佈式鎖的時候主要用到的命令介紹：

   ``` （1）SETNX SETNX key val：當且僅當key不存在時，set一個key爲val的字符串，返回1；若key存在，則什麼都不作，返回0。 （2）expire expire key timeout：當key設置一個超時時間，單位爲second，超過這個時間鎖會自動釋放，避免死鎖。 （3）delete delete key：刪除key ```

3. 實現思想：

   ``` （1）獲取鎖的時候，使用setnx加鎖，並使用expire命令給鎖加一個超時時間，超過該時間則自動釋放鎖，鎖的value值爲一個隨機生成的UUID，經過此在釋放鎖的時候進行判斷。 （2）獲取鎖的時候還設置一個獲取的超時時間，若超過這個時間則放棄獲取鎖。 （3）釋放鎖的時候，經過UUID判斷是否是該鎖，如果該鎖，則執行delete進行鎖釋放。 ```

基於ZooKeeper的實現方式

1. ZooKeeper是一個爲分佈式應用提供一致性服務的開源組件，它內部是一個分層的文件系統目錄樹結構，規定同一個目錄下只能有一個惟一文件名。

2. 基於ZooKeeper實現分佈式鎖的步驟以下：

   ``` （1）建立一個目錄mylock； （2）線程A想獲取鎖就在mylock目錄下建立臨時順序節點； （3）獲取mylock目錄下全部的子節點，而後獲取比本身小的兄弟節點，若是不存在，則說明當前線程順序號最小，得到鎖； （4）線程B獲取全部節點，判斷本身不是最小節點，設置監聽比本身小的節點； （5）線程A處理完，刪除本身的節點，線程B監聽到變動事件，判斷本身是否是最小節點，若是是則得到鎖。 ```
3. 這裏推薦一個Apache的開源庫Curator，它是一個ZooKeeper客戶端，Curator提供的InterProcessMutex是分佈式鎖的實現，acquire方法用於獲取鎖，release用於釋放鎖。
4. 優勢：具有高可用、可重入、阻塞鎖特性，可解決失效死鎖問題。
5. 缺點：由於須要頻繁的建立和刪除節點，性能上不如redis方式。

總結

1. 上面的三種方式，沒有在全部場合都是完美的，因此，應根據不一樣的應用場景選擇最適合的實現方式。
2. 分佈式環境中，對資源進行上鎖有時候是很重要的，好比搶購某一資源，這時候使用分佈式鎖就能夠很好的控制資源。

參考連接

https://blog.csdn.net/xlgen15...

原文地址：

前言

1. 分佈式鎖，是控制分佈式系統之間同步訪問共享資源的一種方式
2. 在分佈式系統中，經常須要協調他們的動做。若是不一樣的系統或是同一個系統的不一樣主機之間共享了一個或一組資源，那麼訪問這些資源的時候，每每須要互斥來防止彼此干擾來保證一致性，在這種狀況下，便須要使用到分佈式鎖。
3. 這裏主要簡單介紹三種方式：基於數據庫實現方式、基於redis實現方式、基於ZooKeeper實現方式。

場景舉例

1. 假設有一個進程A，每小時準點給用戶發送一條短信"Hello world"，爲了高可用，就必須在多臺機器上面部署多個進程，避免宕機的狀況；
2. 假設部署在兩臺機器，那麼問題來了，用戶每一個小時就會收到兩條"Hello world"，信息就重複了；
3. 咱們但願只發送一條"Hello world"，那麼就能夠引入分佈式鎖的概念了；
4. 進程A和進程B發送短信前先去註冊一個鎖，假設進程A搶到了鎖，進程B就等待結果，若是發送成功了，那麼B就放棄這次任務，等待下一個小時。
5. 問題的核心就在於怎麼註冊鎖，檢查鎖的存在和註冊鎖是一個原子性操做，相似mysql的主鍵，存在則不能insert，就是說你不能把個人鎖覆蓋了，你得等着；
6. 咱們有多種方式能夠實現分佈式鎖，最簡單的就是以每小時準點這個時間做爲主鍵，到mysql寫入一條數據，利用數據庫來維持一致性。

爲何要使用分佈式鎖

1. 咱們在開發應用的時候，若是須要對某一個共享變量進行多線程同步訪問的時候，可使用咱們學到的java多線程解決。
2. 注意這是單機應用，也就是全部的請求都會分配到當前服務器的jvm內部，而後映射爲操做系統的線程進行處理，而這個共享變量只是在這個jvm內部的一塊內存空間。
3. 後來業務發展，須要作集羣，一個應用須要部署到幾臺機器上而後作負載均衡，大體以下圖：
   

4. 上圖分析：

   ``` （1）變量A存在JVM一、JVM二、JVM3三個JVM內存中（這個變量A主要體現是在一個類中的一個成員變量，是一個有狀態的對象），若是不加任何控制的話，變量A同時都會在JVM一、JVM二、JVM3中分配一塊內存； （2）三個請求發過來同時對這個變量進行操做，顯然結果是不一樣的。 （3）即便不是同時發過來，三個請求分別操做三個不一樣JVM內存區域的數據，變量A之間不存在共享，也不具備可見性，處理的結果也是不對的。 （4）若是咱們業務中存在這種場景的話，咱們就須要一種方法解決這個問題。 ```
5. 爲了保證一個方法或者屬性在高併發狀況下的同一時間只能被同一個線程執行，在傳統單機應用單機部署的狀況下，可使用java併發處理的相關API進行互斥控制（如ReentrantLock或Synchronized）。
6. 在單機環境中，java中提供了不少併發處理相關的API。
7. 可是隨着業務發展的須要，原單體單機部署的系統被演化成分佈式集羣系統後，因爲分佈式系統多線程、多進程而且分佈在不一樣機器上，這將使原單機部署狀況下的併發控制鎖策略失效，單純的java API並不能提供分佈式鎖的能力。
8. 爲了解決這個問題，就須要一種跨JVM的互斥機制來控制共享資源的訪問，這就是分佈式鎖要解決的問題。

分佈式鎖應該具有的條件

1. 在分佈式系統環境下，一個方法在同一時間只能被一個機器的的一個線程執行；
2. 高可用的獲取鎖與釋放鎖；
3. 高性能的獲取鎖與釋放鎖；
4. 具有可重入特性；
5. 具有鎖失效機制，防止死鎖；
6. 具有非阻塞鎖特性，即沒有獲取到鎖將直接返回獲取鎖失敗。

分佈式鎖實現方式-前言

1. 目前幾乎不少大型網站及應用都是分佈式部署的，分佈式場景中的數據一致性問題一直是一個比較重要的話題。
2. 分佈式的CAP理論告訴咱們，任何一個分佈式系統都沒法同時知足一致性、可用性、和分區容錯性，最多隻能同時知足兩項。
3. 因此，不少系統在設計之初就對這三項作了取捨。在互聯網領域的絕大多數的場景中，都須要犧牲強一致性來換取系統的高可用性，系統每每只須要保證最終一致性，只要這個最終時間實在用戶能夠接受的範圍內便可。
4. 在不少場景中，咱們爲例保證數據的最終一致性，須要不少的技術方案來支持，好比分佈式事務、分佈式鎖等，有時候咱們須要保證一個方法在同一個線程執行。
5. 基於數據庫實現分佈式鎖；基於緩存redis等實現分佈式鎖；基於Zookeeper實現分佈式鎖。

基於數據庫的實現方式

1. 基於數據庫的實現方式核心思想：在數據庫中建立一個表，表中包含方法名等字段，並在方法名字段上建立惟一索引，想要執行某個方法，就使用這個方法名向表中插入數據，成功插入則獲取鎖，執行完成後刪除對應的行數據釋放鎖。

2. 建立一個表：

   ``` DROP TABLE IF EXISTS `method_lock`; CREATE TABLE `method_lock` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '主鍵', `method_name` varchar(64) NOT NULL COMMENT '鎖定的方法名', `desc` varchar(255) NOT NULL COMMENT '備註信息', `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`), UNIQUE KEY `uidx_method_name` (`method_name`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 COMMENT=‘鎖定中的方法'; ```

3. 想要執行某個方法，就使用這個方法名向表中插入數據：

   ``` INSERT INTO method_lock (method_name, desc) VALUES ('methodName', ‘測試的methodName'); ```
4. 由於咱們對method_name作了惟一約束，這裏若是有多個請求同時提交到數據庫的話，數據庫會保證只有一個操做能夠成功，那麼咱們就能夠認爲操做成功的那個線程得到了該方法的鎖，能夠執行方法體內容。

5. 成功插入則獲取鎖，執行完成後刪除對應的行數據釋放鎖：

   ``` delete from method_lock where method_name ='methodName'; ```

6. 使用基於數據庫的這種實現方式很簡單，可是對於分佈式鎖應該具有的條件來講，它有一些問題須要解決及優化：

   ``` （1）由於是基於數據庫實現的，數據庫的可用性和性能將直接影響分佈式鎖的可用性及性能，因此，數據庫須要雙機部署、數據同步、主備切換。 （2）不具有可重入的特性，由於同一個線程在釋放鎖以前，行數據一直存在，沒法再次成功插入數據，因此，須要在表中新增一列，用於記錄當前獲取到鎖的機器和線程信息，在再次獲取鎖的時候，先查詢表中機器和線程信息是否和當前機器和線程信息相同，若相同則直接獲取鎖； （3）沒有鎖失效機制，由於有可能出現成功插入數據後，服務器宕機了，對應的數據沒有被刪除，當服務恢復後一直獲取不到鎖，因此，須要在鎖中新增一列，用於記錄失效時間，而且須要有定時任務清除這些失效的數據； （4）不具有阻塞鎖特性，獲取不到鎖直接返回失敗，因此須要優化獲取邏輯，循環屢次去獲取。 ```
7. 在實施過程當中會遇到各類不一樣問題，爲了解決這些問題，實現方式將會愈來愈複雜；依賴數據庫須要必定的資源開銷，性能問題須要考慮。

基於redis的實現方式

1. 選擇redis分佈式鎖的緣由：

   ``` （1）redis有很高的性能； （2）redis對此支持的命令較好，實現起來比較方便 ```

2. 使用分佈式鎖的時候主要用到的命令介紹：

   ``` （1）SETNX SETNX key val：當且僅當key不存在時，set一個key爲val的字符串，返回1；若key存在，則什麼都不作，返回0。 （2）expire expire key timeout：當key設置一個超時時間，單位爲second，超過這個時間鎖會自動釋放，避免死鎖。 （3）delete delete key：刪除key ```

3. 實現思想：

   ``` （1）獲取鎖的時候，使用setnx加鎖，並使用expire命令給鎖加一個超時時間，超過該時間則自動釋放鎖，鎖的value值爲一個隨機生成的UUID，經過此在釋放鎖的時候進行判斷。 （2）獲取鎖的時候還設置一個獲取的超時時間，若超過這個時間則放棄獲取鎖。 （3）釋放鎖的時候，經過UUID判斷是否是該鎖，如果該鎖，則執行delete進行鎖釋放。 ```

基於ZooKeeper的實現方式

1. ZooKeeper是一個爲分佈式應用提供一致性服務的開源組件，它內部是一個分層的文件系統目錄樹結構，規定同一個目錄下只能有一個惟一文件名。

2. 基於ZooKeeper實現分佈式鎖的步驟以下：

   ``` （1）建立一個目錄mylock； （2）線程A想獲取鎖就在mylock目錄下建立臨時順序節點； （3）獲取mylock目錄下全部的子節點，而後獲取比本身小的兄弟節點，若是不存在，則說明當前線程順序號最小，得到鎖； （4）線程B獲取全部節點，判斷本身不是最小節點，設置監聽比本身小的節點； （5）線程A處理完，刪除本身的節點，線程B監聽到變動事件，判斷本身是否是最小節點，若是是則得到鎖。 ```
3. 這裏推薦一個Apache的開源庫Curator，它是一個ZooKeeper客戶端，Curator提供的InterProcessMutex是分佈式鎖的實現，acquire方法用於獲取鎖，release用於釋放鎖。
4. 優勢：具有高可用、可重入、阻塞鎖特性，可解決失效死鎖問題。
5. 缺點：由於須要頻繁的建立和刪除節點，性能上不如redis方式。

總結

1. 上面的三種方式，沒有在全部場合都是完美的，因此，應根據不一樣的應用場景選擇最適合的實現方式。
2. 分佈式環境中，對資源進行上鎖有時候是很重要的，好比搶購某一資源，這時候使用分佈式鎖就能夠很好的控制資源。

參考連接

https://blog.csdn.net/xlgen15...

原文地址：http://www.javashuo.com/article/p-qgqvtehc-my.html