CAP 一致性協議及應用解析

1、一致性

1.1 CAP 理論

1. C 一致性：分佈式環境中，一致性是指多個副本之間，在同一時刻可否有一樣的值
2. A 可用性：系統提供的服務必須一直處於可用的狀態。即便集羣中一部分節點故障。
3. P 分區容錯性：系統在遇到節點故障，或者網絡分區時，任然能對外提供一致性和可用性的服務。以實際效果而言，分區至關於通訊的時限要求。系統若是不能在必定實現內達成數據一致性，也就意味着發生了分區的狀況。必須就當前操做在 C 和 A 以前做出選擇

1.2 CAP不能同時知足的證實

假設系統中有 5 個節點，n1~n5。n1，n2，n3 在A物理機房。n4，n5 在 B 物理機房。如今發生了網絡分區，A 機房和 B 機房網絡不通。
保證一致性：此時客戶端在 A 機房寫入數據，不能同步到B機房。寫入失敗。此時失去了可用性。
保證可用性：數據在 A 機房的 n1~n3 節點都寫入成功後返回成功。數據在 B 機房的 n4~n5 節點也寫入數據，返回成功。同一份數據在 A 機房和 B 機房出現了數據不一致的狀況。聰明如你，能夠想到 zookeeper，當一個節點 down 掉，系統會將其剔出節點，然其它一半以上的節點寫入成功便可。是否是 zookeeper 同時知足了 CAP 呢。其實這裏有一個誤區，系統將其剔出節點。有一個隱含的條件是，系統引入了一個調度者，一個踢出壞節點的調度者。當調度者和 zookeeper 節點出現網絡分區，整個系統仍是不可用的。

1.3 常見場景

CA without P： 在分佈式環境中，P 是不可避免的，天災（某軟公司的Azure被雷劈劈中）人禍（某裏公司 A 和 B 機房之間的光纜被挖斷）都能致使P
CP without A：至關於每一個寫請求都須在Server以前強一致。P (分區)會致使同步時間無限延長。這個是能夠保證的。例如數據庫的分佈式事務，兩階段提交，三階段提交等
AP without C： 當網絡分區發生，A 和 B 集羣失去聯繫。爲了保證高可用，系統在寫入時，系統寫入部分節點就會返回成功，這會致使在必定時間以內，客戶端從不一樣的機器上面讀取到的是數據是不同的。例如 redis 主從異步複製架構，當 master down 掉，系統會切換到 slave，因爲是異步複製，salve 不是最新的數據，會致使一致性的問題。

2、一致性協議

2.1 兩階段提交協議（2PC）

二階段提交( Two-phaseCommit )是指，在計算機網絡以及數據庫領域內，爲了使基於分佈式系統架構下的全部節點在進行事務提交時保持一致性而設計的一種算法( Algorithm )。一般，二階段提交也被稱爲是一種協議( Protocol )。在分佈式系統中，每一個節點雖然能夠知曉本身的操做時成功或者失敗，卻沒法知道其餘節點的操做的成功或失敗。當一個事務跨越多個節點時，爲了保持事務的 ACID 特性，須要引入一個做爲協調者的組件來統一掌控全部節點(稱做參與者)的操做結果並最終指示這些節點是否要把操做結果進行真正的提交(好比將更新後的數據寫入磁盤等等)。所以，二階段提交的算法思路能夠歸納爲：參與者將操做成敗通知協調者，再由協調者根據全部參與者的反饋情報決定各參與者是否要提交操做仍是停止操做。

2.1.1 兩種角色

• 協調者
• 參與者

2.1.2處理階段

• 詢問投票階段：事務協調者給每一個參與者發送 Prepare 消息，參與者受到消息後，，要麼在本地寫入 redo 和 undo 日誌成功後，返回贊成的消息，否者一個終止事務的消息。
• 執行初始化（執行提交）：協調者在收到全部參與者的消息後，若是有一個返回終止事務，那麼協調者給每一個參與者發送回滾的指令。否者發送 commit 消息

2.1.3 異常狀況處理

• 協調者故障：備用協調者接管，並查詢參與者執行到什麼地址
• 參與者故障：協調者會等待他重啓而後執行
• 協調者和參與者同時故障：協調者故障，而後參與者也故障。例如：有機器 1，2，3，4。其中 4 是協調者，1，2，3是參與者 4 給1，2 發完提交事務後故障了，正好3這個時候也故障了，注意這是 3 是沒有提交事務數據的。在備用協調者啓動了，去詢問參與者，因爲3死掉了，一直不知道它處於什麼狀態（接受了提交事務，仍是反饋了能執行仍是不能執行 3 個狀態）。面對這種狀況，2PC，是不能解決的，要解決須要下文介紹的 3PC。

2.1.4缺點

• 同步阻塞問題：因爲全部參與的節點都是事務阻塞型的，例如update table set status=1 where current_day=20181103，那麼參與者table表的current_day=20181103的記錄都會被鎖住，其餘的要修改current_day=20181103行的事務，都會被阻塞
• 單點故障阻塞其餘事務：協調者再執行提交的階段 down 掉，全部的參與者出於鎖定事務資源的狀態中。沒法完成相關的事務操做。
• 參與者和協調者同時 down 掉：協調者在發送完 commit 消息後 down 掉，而惟一接受到此消息的參與者也 down 掉了。新協調者接管，也是一個懵逼的狀態，不知道此條事務的狀態。不管提交或者回滾都是不合適的。這個是兩階段提交沒法改變的

2.2 三階段提交協議（3PC）

2PC 當時只考慮若是單機故障的狀況，是能夠勉強應付的。當遇到協調者和參與者同時故障的話，2PC 的理論是不完善的。此時 3PC 登場。
3PC 就是對 2PC 漏洞的補充協議。主要改動兩點

1. 在 2PC 的第一階段和第二階段插入一個準備階段，作到就算參與者和協調者同時故障也不阻塞，而且保證一致性。
2. 在協調者和參與者之間引入超時機制

2.2.1 處理的三個階段

• 事務詢問階段（ can commit 階段)：協調者向參與者發送 commit 請求，而後等待參與者反應。這個和 2PC 階段不一樣的是，此時參與者沒有鎖定資源，沒有寫 redo，undo，執行回滾日誌。回滾代價低
• 事務準備階段 （pre commit）：若是參與者都返回ok，那麼就發送Prepare消息，參與者本地執行redo和undo日誌。否者就向參與者提交終止（abort）事務的請求。若是再發送Prepare消息的時候，等待超時，也會向參與者提交終止事務的請求。
• 執行事務階段（do commit）：若是全部發送Prepare都返回成功，那麼此時變爲執行事務階段，向參與者發送commit事務的消息。否者回滾事務。在此階段參與者若是在必定時間內沒有收到docommit消息，觸發超時機制，會本身提交事務。此番處理的邏輯是，可以進入此階段，說明在事務詢問階段全部節點都是好的。即便在提交的時候部分失敗，有理由相信，此時大部分節點都是好的。是能夠提交的

2.2.2 缺點

• 不能解決網絡分區的致使的數據不一致的問題：例如 1~5 五個參與者節點，1，2，3 個節點在A機房，4，5 節點在 B 機房。在pre commit階段，1~5 個節點都收到 Prepare 消息，可是節點1執行失敗。協調者向1~5個節點發送回滾事務的消息。可是此時A，B機房的網絡分區。1~3 號節點會回滾。可是 4~5 節點因爲沒收到回滾事務的消息，而提交了事務。待網絡分區恢復後，會出現數據不一致的狀況。
• 不能解決 fail-recover 的問題：

因爲 3PC 有超時機制的存在，2PC 中未解決的問題，參與者和協調者同時 down 掉，也就解決了。一旦參與者在超時時間內沒有收到協調者的消息，就會本身提交。這樣也能避免參與者一直佔用共享資源。可是其在網絡分區的狀況下，不能保證數據的一致性

2.3 Paxos協議

像 2PC 和 3PC 都須要引入一個協調者的角色，當協調者 down 掉以後，整個事務都沒法提交，參與者的資源都出於鎖定的狀態，對於系統的影響是災難性的，並且出現網絡分區的狀況，頗有可能會出現數據不一致的狀況。有沒有不須要協調者角色，每一個參與者來協調事務呢，在網絡分區的狀況下，又能最大程度保證一致性的解決方案呢。此時 Paxos 出現了。

Paxos 算法是 Lamport 於 1990 年提出的一種基於消息傳遞的一致性算法。因爲算法難以理解起初並無引發人們的重視，Lamport在八年後從新發表，即使如此Paxos算法仍是沒有獲得重視。2006 年 Google 的三篇論文石破天驚，其中的 chubby 鎖服務使用Paxos 做爲 chubbycell 中的一致性，後來才獲得關注。

2.3.1 解決了什麼問題

• Paxos 協議是一個解決分佈式系統中，多個節點之間就某個值（提案）達成一致（決議）的通訊協議。它可以處理在少數節點離線的狀況下，剩餘的多數節點仍然可以達成一致。即每一個節點，既是參與者，也是決策者

2.3.2 兩種角色（二者能夠是同一臺機器）

• Proposer：提議提案的服務器
• Acceptor：批准提案的服務器

因爲 Paxos 和下文提到的 zookeeper 使用的 ZAB 協議過於類似，詳細講解參照下文，Zookeeper原理部分

2.4 Raft協議

Paxos 是論證了一致性協議的可行性，可是論證的過程聽說晦澀難懂，缺乏必要的實現細節，並且工程實現難度比較高廣爲人知實現只有 zk 的實現 zab 協議。而後斯坦福大學RamCloud項目中提出了易實現，易理解的分佈式一致性複製協議 Raft。Java，C++，Go 等都有其對應的實現

2.4.1 基本名詞

• 節點狀態

  • Leader（主節點）：接受 client 更新請求，寫入本地後，而後同步到其餘副本中
  • Follower（從節點）：從 Leader 中接受更新請求，而後寫入本地日誌文件。對客戶端提供讀請求
  • Candidate（候選節點）：若是 follower 在一段時間內未收到 leader 心跳。則判斷 leader 可能故障，發起選主提議。節點狀態從 Follower 變爲 Candidate 狀態，直到選主結束
• termId：任期號，時間被劃分紅一個個任期，每次選舉後都會產生一個新的 termId，一個任期內只有一個 leader。termId 至關於 paxos 的 proposalId。
• RequestVote：請求投票，candidate 在選舉過程當中發起，收到 quorum (多數派）響應後，成爲 leader。
• AppendEntries：附加日誌，leader 發送日誌和心跳的機制
• election timeout：選舉超時，若是 follower 在一段時間內沒有收到任何消息(追加日誌或者心跳)，就是選舉超時。

2.4.2 特性

• Leader 不會修改自身日誌，只會作追加操做，日誌只能由Leader轉向Follower。例如即將要down掉的Leader節點已經提交日誌1，未提交日誌 2，3。down 掉以後，節點 2 啓動最新日誌只有 1，而後提交了日誌 4。好巧不巧節點 1 又啓動了。此時節點 2 的編號 4 日誌會追加到節點 1 的編號 1 日誌的後面。節點 1 編號 2，3 的日誌會丟掉。
• 不依賴各個節點物理時序保證一致性，經過邏輯遞增的 term-id 和 log-id 保證。

2.4.3 選主契機

1. 在超時時間內沒有收到 Leader 的心跳
2. 啓動時

2.4.4 選主過程

如圖raft-2所示，Raft將時間分爲多個 term（任期），term 以連續的整數來標識，每一個 term 表示一個選舉的開始。例如Follower 節點 1。在 term1 和 term2 鏈接處的時間，聯繫不到Leader，將currentTerm編號加1，變成2，進入了到term2任期，在term2的藍色部分選舉完成，綠色部分正常工做。固然一個任期不必定能選出Leader，那麼會將currentTerm繼續加1，而後繼續進行選舉，例如圖中的t3。選舉的原則是，每一輪選舉每一個選民一張選票，投票的請求先到且選民發現候選人節點的日誌id大於等於本身的，就會投票，否者不會投票。得到半數以上的票的節點成爲主節點（注意這並非說選出來的事務id必定是最大的，。例以下圖raft-1a~f六個節點（正方形框裏面的數字是選舉的輪數term）。在第四輪選舉中，a先發出投票，六臺機器中，a~e都會投a，即便f不投a，a也會贏得選舉。）。若是沒有事務id（如剛啓動時），就遵循投票請求先來先頭。而後Leader將最新的日誌複製到各個節點，再對外提供服務。
固然除了這些選舉限制，還會有其餘的狀況。如commit限制等保證，Leader選舉成功必定包含全部的commit和log

2.4.5 日誌複製過程

raft日誌寫入過程，主節點收到一個x=1的請求後，會寫入本地日誌，而後將x=1的日誌廣播出去，follower若是收到請求，會將日誌寫入本地 log ，而後返回成功。當 leader 收到半數以上的節點回應時，會將此日誌的狀態變爲commit，而後廣播消息讓 follwer 提交日誌。節點在 commit 日誌後，會更新狀態機中的 logindex 。
firstLogIndex/lastLogIndex 爲節點中開始和結束的索引位置（包含提交，未提交，寫入狀態機）commitIndex：已提交的索引。applyIndex：已寫入狀態機中的索引

日誌複製的本質是讓 follwer 和 Leader 的已提交的日誌順序和內容都徹底同樣，用於保證一致性。
具體的原則就是
原則1：兩個日誌在不一樣的 raft 節點中，若是有兩個相同的 term 和 logIndex
，則保證兩個日誌的內容徹底同樣。
原則2：兩段日誌在不一樣的 raft 節點中，若是起始和終止的的 term，logIndex 都相同，那麼兩段日誌中日誌內容徹底同樣。
如何保證
第一個原則只須要在建立 logIndex 的時候使用新的 logIndex，保證 logIndex 的惟一性。並且建立以後不去更改。那麼在 leader 複製到 follwer 以後，logIndex，term 和日誌內容都沒變。
第二個原則，在 Leader 複製給 Follower 時，要傳遞當前最新日誌 currenTermId 和currentLogIndex，以及上一條日誌 preCurrentTermId 和 preCurrentLogIndex。如圖raft-1，在 d 節點，term7，logIndex12。在給節點節點 a 同步時，發送(term7，logIndex11)，(term7，logIndex12),a 節點沒有找到(term7，logIndex11)的日誌，會讓Leader，d 節點從新發送。d 節點會從新發（term6，logIndex10）(term7，logIndex11)，仍是沒有(term6，logIndex10)的日誌,依然會拒絕同步。接着發(term6，logIndex9)(term6，logIndex10)。如今a節點有了(term6，logIndex9)。那麼 leader節點就會將(term6，logIndex9) ~ (term7，logIndex11)日誌內容給節點 a，節點 a 將會和節點d有同樣的日誌。

3、Zookeeper 原理

3.1 概述

Google 的粗粒度鎖服務 Chubby 的設計開發者 Burrows 曾經說過：「全部一致性協議本質上要麼是 Paxos 要麼是其變體」。Paxos 雖然解決了分佈式系統中，多個節點就某個值達成一致性的通訊協議。可是仍是引入了其餘的問題。因爲其每一個節點，均可以提議提案，也能夠批准提案。當有三個及以上的 proposer 在發送 prepare 請求後，很難有一個 proposer 收到半數以上的回覆而不斷地執行第一階段的協議，在這種競爭下，會致使選舉速度變慢。
因此 zookeeper 在 paxos 的基礎上，提出了 ZAB 協議，本質上是，只有一臺機器能提議提案（Proposer），而這臺機器的名稱稱之爲 Leader 角色。其餘參與者扮演 Acceptor 角色。爲了保證 Leader 的健壯性，引入了 Leader 選舉機制。

ZAB協議還解決了這些問題

1. 在半數如下節點宕機，依然能對臺提供服務
2. 客戶端全部的寫請求，交由 Leader 來處理。寫入成功後，須要同步給全部的 follower 和 observer
3. leader 宕機，或者集羣重啓。須要確保已經再 Leader 提交的事務最終都能被服務器提交，而且確保集羣能快速回復到故障前的狀態

3.2 基本概念

• 基本名詞

  • 數據節點（dataNode）：zk 數據模型中的最小數據單元，數據模型是一棵樹，由斜槓（ / ）分割的路徑名惟一標識，數據節點能夠存儲數據內容及一系列屬性信息，同時還能夠掛載子節點，構成一個層次化的命名空間。
  • 事務及 zxid：事務是指可以改變 Zookeeper 服務器狀態的操做，通常包括數據節點的建立與刪除、數據節點內容更新和客戶端會話建立與失效等操做。對於每一個事務請求，zk 都會爲其分配一個全局惟一的事務 ID，即 zxid，是一個 64 位的數字，高 32 位表示該事務發生的集羣選舉週期（集羣每發生一次 leader 選舉，值加 1），低 32 位表示該事務在當前選擇週期內的遞增次序（leader 每處理一個事務請求，值加 1，發生一次 leader 選擇，低 32 位要清 0）。
  • 事務日誌：全部事務操做都是須要記錄到日誌文件中的，可經過 dataLogDir 配置文件目錄，文件是以寫入的第一條事務 zxid 爲後綴，方便後續的定位查找。zk 會採起「磁盤空間預分配」的策略，來避免磁盤 Seek 頻率，提高 zk 服務器對事務請求的影響能力。默認設置下，每次事務日誌寫入操做都會實時刷入磁盤，也能夠設置成非實時（寫到內存文件流，定時批量寫入磁盤），但那樣斷電時會帶來丟失數據的風險。
  • 事務快照：數據快照是 zk 數據存儲中另外一個很是核心的運行機制。數據快照用來記錄 zk 服務器上某一時刻的全量內存數據內容，並將其寫入到指定的磁盤文件中，可經過 dataDir 配置文件目錄。可配置參數 snapCount，設置兩次快照之間的事務操做個數，zk 節點記錄完事務日誌時，會統計判斷是否須要作數據快照（距離上次快照，事務操做次數等於snapCount/2~snapCount 中的某個值時，會觸發快照生成操做，隨機值是爲了不全部節點同時生成快照，致使集羣影響緩慢）。

• 核心角色

  • leader：系統剛啓動時或者 Leader 崩潰後正處於選舉狀態；
  • follower：Follower 節點所處的狀態，Follower 與 Leader 處於數據同步階段；
  • observer：Leader 所處狀態，當前集羣中有一個 Leader 爲主進程。

• 節點狀態

  • LOOKING：節點正處於選主狀態，不對外提供服務，直至選主結束；
  • FOLLOWING：做爲系統的從節點，接受主節點的更新並寫入本地日誌；
  • LEADING：做爲系統主節點，接受客戶端更新，寫入本地日誌並複製到從節點

3.3 常見的誤區

• 寫入節點後的數據，立馬就能被讀到，這是錯誤的。 zk 寫入是必須經過 leader 串行的寫入，並且只要一半以上的節點寫入成功便可。而任何節點均可提供讀取服務。例如：zk，有 1~5 個節點，寫入了一個最新的數據，最新數據寫入到節點 1~3，會返回成功。而後讀取請求過來要讀取最新的節點數據，請求可能被分配到節點 4~5 。而此時最新數據尚未同步到節點4~5。會讀取不到最近的數據。若是想要讀取到最新的數據，能夠在讀取前使用 sync 命令。
• zk啓動節點不能偶數臺，這也是錯誤的。zk 是須要一半以上節點才能正常工做的。例如建立 4 個節點，半數以上正常節點數是 3。也就是最多隻容許一臺機器 down 掉。而 3 臺節點，半數以上正常節點數是 2，也是最多容許一臺機器 down 掉。4 個節點，多了一臺機器的成本，可是健壯性和 3 個節點的集羣同樣。基於成本的考慮是不推薦的

3.4 選舉同步過程

3.4.1 發起投票的契機

1. 節點啓動
2. 節點運行期間沒法與 Leader 保持鏈接，
3. Leader 失去一半以上節點的鏈接

3.4.2 如何保證事務

ZAB 協議相似於兩階段提交，客戶端有一個寫請求過來，例如設置 /my/test 值爲 1，Leader 會生成對應的事務提議（proposal）（當前 zxid爲 0x5000010 提議的 zxid 爲Ox5000011），現將set /my/test 1（此處爲僞代碼）寫入本地事務日誌，而後set /my/test 1日誌同步到全部的follower。follower收到事務 proposal ，將 proposal 寫入到事務日誌。若是收到半數以上 follower 的迴應，那麼廣播發起 commit 請求。follower 收到 commit 請求後。會將文件中的 zxid ox5000011 應用到內存中。

上面說的是正常的狀況。有兩種狀況。第一種 Leader 寫入本地事務日誌後，沒有發送同步請求，就 down 了。即便選主以後又做爲 follower 啓動。此時這種仍是會日誌會丟掉（緣由是選出的 leader 無此日誌，沒法進行同步）。第二種 Leader 發出同步請求，可是尚未 commit 就 down 了。此時這個日誌不會丟掉，會同步提交到其餘節點中。

3.4.3 服務器啓動過程當中的投票過程

如今 5 臺 zk 機器依次編號 1~5

1. 節點 1 啓動，發出去的請求沒有響應，此時是 Looking 的狀態
2. 節點 2 啓動，與節點 1 進行通訊，交換選舉結果。因爲二者沒有歷史數據，即 zxid 沒法比較，此時 id 值較大的節點 2 勝出，可是因爲尚未超過半數的節點，因此 1 和 2 都保持 looking 的狀態
3. 節點 3 啓動，根據上面的分析，id 值最大的節點 3 勝出，並且超過半數的節點都參與了選舉。節點 3 勝出成爲了 Leader
4. 節點 4 啓動，和 1~3 個節點通訊，得知最新的 leader 爲節點 3，而此時 zxid 也小於節點 3，因此認可了節點 3 的 leader 的角色
5. 節點 5 啓動，和節點 4 同樣，選取認可節點 3 的 leader 的角色

3.4.4 服務器運行過程當中選主過程

1.節點 1 發起投票，第一輪投票先投本身，而後進入 Looking 等待的狀態
2.其餘的節點（如節點 2 ）收到對方的投票信息。節點 2 在 Looking 狀態，則將本身的投票結果廣播出去（此時走的是上圖中左側的 Looking 分支）；若是不在 Looking 狀態，則直接告訴節點 1 當前的 Leader 是誰，就不要瞎折騰選舉了（此時走的是上圖右側的 Leading/following 分支）
3.此時節點 1，收到了節點 2 的選舉結果。若是節點 2 的 zxid 更大，那麼清空投票箱，創建新的投票箱，廣播本身最新的投票結果。在同一次選舉中，若是在收到全部節點的投票結果後，若是投票箱中有一半以上的節點選出了某個節點，那麼證實 leader 已經選出來了，投票也就終止了。不然一直循環

zookeeper 的選舉，優先比較大 zxid，zxid 最大的節點表明擁有最新的數據。若是沒有 zxid，如系統剛剛啓動的時候，則比較機器的編號，優先選擇編號大的

3.5 同步的過程

在選出 Leader 以後，zk 就進入狀態同步的過程。其實就是把最新的 zxid 對應的日誌數據，應用到其餘的節點中。此 zxid 包含 follower 中寫入日誌可是未提交的 zxid 。稱之爲服務器提議緩存隊列 committedLog 中的 zxid。

同步會完成三個 zxid 值的初始化。

peerLastZxid：該 learner 服務器最後處理的 zxid。
minCommittedLog：leader服務器提議緩存隊列 committedLog 中的最小 zxid。
maxCommittedLog：leader服務器提議緩存隊列 committedLog 中的最大 zxid。
系統會根據 learner 的peerLastZxid和 leader 的minCommittedLog，maxCommittedLog作出比較後作出不一樣的同步策略

3.5.1 直接差別化同步

場景：peerLastZxid介於minCommittedLogZxid和maxCommittedLogZxid間

此種場景出如今，上文提到過的，Leader 發出了同步請求，可是尚未 commit 就 down 了。 leader 會發送 Proposal 數據包，以及 commit 指令數據包。新選出的 leader 繼續完成上一任 leader 未完成的工做。

例如此刻Leader提議的緩存隊列爲 0x20001，0x20002，0x20003，0x20004，此處learn的peerLastZxid爲0x20002，Leader會將0x20003和0x20004兩個提議同步給learner

3.5.2 先回滾在差別化同步/僅回滾同步

此種場景出如今，上文提到過的，Leader寫入本地事務日誌後，還沒發出同步請求，就down了，而後在同步日誌的時候做爲learner出現。

例如即將要 down 掉的 leader 節點 1，已經處理了 0x20001，0x20002，在處理 0x20003 時還沒發出提議就 down 了。後來節點 2 當選爲新 leader，同步數據的時候，節點 1 又神奇復活。若是新 leader 尚未處理新事務，新 leader 的隊列爲，0x20001, 0x20002，那麼僅讓節點 1 回滾到 0x20002 節點處，0x20003 日誌廢棄，稱之爲僅回滾同步。若是新 leader 已經處理 0x30001 , 0x30002 事務，那麼新 leader 此處隊列爲0x20001，0x20002，0x30001，0x30002，那麼讓節點 1 先回滾，到 0x20002 處，再差別化同步0x30001，0x30002。

3.5.3 全量同步

peerLastZxid小於minCommittedLogZxid或者leader上面沒有緩存隊列。leader直接使用SNAP命令進行全量同步

4、使用 Raft + RocksDB 有贊分佈式 KV 存儲服務

當前開源的緩存 kv 系統，大都是 AP 系統，例如設置主從同步集羣 redis，master 異步同步到 slave。雖然在 master 中止服務後，slave 會頂上來。可是在 master 寫入了數據，可是還沒來得及同步到 slave 就 down 了，而後 slave 被選爲主節點繼續對外提供服務的狀況下，會丟失部分數據。這對於要求強一致性的系統來講是不可接受的。例如不少場景下 redis 作分佈式鎖，有自然的缺陷在裏面，若是 master 中止服務，這個鎖不很不可靠的，雖然出現的概率很小，但一旦出現，將是致命的錯誤。

爲了實現 CP 的 KV 存儲系統，且要兼容現有的 redis 業務。有贊開發了 ZanKV（先已開源ZanRedisDB）。

底層的存儲結構是 RocksDB（底層採用 LSM 數據結構）。一個set x=1的會經過 redis protocol 協議傳輸，內容會經過 Raft 協議，同步寫入到其餘的節點的 RocksDB。有了Raft 理論的加持，RocksDB優秀的存儲性能，即便遇到網絡分區，master 節點 down 掉， slave 節點 down 掉，等一系列異常狀況，其都能輕鬆應對。在擴容方面，系統用選擇維護映射表的方式來創建分區和節點的關係，映射表會根據必定的算法並配合靈活的策略生成，來達到方便擴容。具體原理可參見使用開源技術構建有贊分佈式KV存儲服務

5、總結

本文從三個方面介紹了一致性，首先是描述分佈架構中的核心理論-CAP，以及其簡單的證實。第二部分介紹了 CAP 裏面協議，重點介紹了 Raft 協議。第三部分，重點介紹了經常使用的 zookeeper 原理。

爲了保證數據 commit 以後不可丟，系統都會採用（WAL write ahead log）（在每次修改數據以前先寫操做內容日誌，而後再去修改數據。即便修改數據時異常，也能夠經過操做內容日誌恢復數據）

分佈式存儲系統中，是假設機器是不穩定，隨時都有可能 down 掉的狀況下來設計的。也就是說就算機器 down 掉了，用戶寫入的數據也不能丟，避免單點故障。爲此每一份寫入的數據，須要在多個副本中同時存放。例如 zk 節點數據複製，etcd 的數據複製。而複製數據給節點又會帶來一致性的問題，例如主節點和從節點數據不一致改如何去同步數據。也會帶來可用性的問題，如 leader 節點 down 掉，如何快速選主，恢復數據等。好在已有成熟的理論如 Paxos 協議，ZAB 協議 Raft 協議等作爲支撐。

參考文章/書籍
《從 paxos 到 Zookeeper 分佈式一致性原理與實踐》

使用開源技術構建有贊分佈式KV存儲服務

關於分佈式事務、兩階段提交協議、三階提交協議

zookeeper leader 和 learner 的數據同步

淺析Zookeeper的一致性原理

[圖解分佈式協議- Raft ](
http://ifeve.com/raft/)

[Raft協議詳解](
https://zhuanlan.zhihu.com/p/...