Zookeeper 數據結構詳解

時間  2020-05-28
標籤 zookeeper 數據 結構 詳解 欄目 Zookeeper 简体版
原文   原文鏈接

Zookeeper

https://zookeeper.apache.org/doc/current/zookeeperOver.htmlhtml

ZooKeeper is a distributed, open-source coordination service for distributed applications.
It exposes a simple set of primitives that distributed applications can build upon to implement higher level services for synchronization, configuration maintenance, and groups and naming.

It is designed to be easy to program to, and uses a data model styled after the familiar directory tree structure of file systems.

Zookeeper是高性能，高可用，嚴格有序的分佈式協調服務，提供了統一配置（configuration），命名（naming），同步（synchronization），以及分組服務（group service）。node

同時，Zookeeper自己支持複製集羣，實例間是兩兩鏈接的，維護內存中的數據狀態，並持久存儲中的事務日誌和快照。只要大多數服務器可用，ZooKeeper服務將可用。
在「讀爲主」的工做負載中，它特別快。ZooKeeper應用程序可在數千臺計算機上運行，而且在讀取比寫入更爲常見的狀況下，其性能最佳，比率約爲10：1。shell

Zookeeper 保證的特性

  • 順序一致性（Sequential Consistency）：來自客戶端的更新將按照其發送順序進行執行。
  • 原子性（Atomicity）：更新成功或失敗。沒有中間狀態的結果。
  • 統一視圖（Single System Image）：不管客戶端鏈接到哪一個服務器，客戶端都將看到相同服務的數據視圖。
  • 可靠性（Reliability）： 一旦數據更新被執行了，它將從那時起持續到客戶端覆蓋更新。
  • 及時性（Timeliness）：確保系統的客戶視圖在特定時間範圍內是最新的。

Zookeeper的數據結構

ZooKeeper提供的名稱空間與標準文件系統的名稱空間很是類似。apache

file

名稱是由斜槓（/）分隔的一系列路徑元素。ZooKeeper命名空間中的每一個節點都由路徑進行惟一標識。編程

ZooKeeper的層次命名空間服務器

與標準文件系統不一樣，ZooKeeper命名空間中的每一個節點均可以具備與其關聯的數據以及子節點。就像擁有一個文件系統同樣，該文件系統也容許文件成爲目錄。
每個節點均可以存儲數據，只是須要注意的是存儲的容量是有限，通常不能超過 1MiB。微信

Znode 類型

  • Znode的類型分爲三類：session

    • 持久節點（persistent node）節點會被持久
    • 臨時節點（ephemeral node），客戶端斷開鏈接後，ZooKeeper會自動刪除臨時節點
    • 順序節點（sequential node），每次建立順序節點時，ZooKeeper都會在路徑後面自動添加上10位的數字，從1開始，最大是2147483647 （2^32-1）
      每一個順序節點都有一個單獨的計數器，而且單調遞增的，由Zookeeper的leader實例維護。

  • Znode實際上有四種形式，默認是persistent。數據結構

    • PERSISTENT 持久節點： 如 create /test/a "hello" ，經過 create <path> <data>參數指定爲持久節點
    • PERSISTENT_SEQUENTIAL（持久順序節點/s0000000001） ，經過 create -s <path> <data>參數指定爲順序節點
    • EPHEMERAL 臨時節點，經過 create -e <path> <data>參數指定爲順序節點
    • EPHEMERAL_SEQUENTIAL（臨時順序節點/s0000000001） ，經過 create -s -e <path> <data> 參數指定爲臨時及順序節點

file

  • 下面是一些實例：

(1) 建立順序節點app

[zk: 127.0.0.1:2281(CONNECTED) 0] create /seq_test/ ""
Created /seq_test
[zk: 127.0.0.1:2281(CONNECTED) 1] create -s /seq_test/s "hello"
Created /seq_test/s0000000001
[zk: 127.0.0.1:2281(CONNECTED) 2] create -s /seq_test/s "hello"
Created /seq_test/s0000000002
[zk: 127.0.0.1:2281(CONNECTED) 3] ls /seq_test
[s0000000001, s0000000002]

(2) 建立臨時節點

[zk: 127.0.0.1:2281(CONNECTED) 0] create /ephe_test/ ""
Created /ephe_test
[zk: 127.0.0.1:2281(CONNECTED) 1] create -e /ephe_test/e "hello"
Created /ephe_test/e
[zk: 127.0.0.1:2281(CONNECTED) 2] ls /ephe_test
[e]

斷開從新鏈接

[zk: 127.0.0.1:2281(CONNECTED) 0] ls /ephe_test
[]

(3) 建立臨時順序節點

[zk: 127.0.0.1:2281(CONNECTED) 0] create /ephe_seq_test/ ""
Created /ephe_seq_test
[zk: 127.0.0.1:2281(CONNECTED) 1] create -e -s /ephe_seq_test/s "hello"
Created /ephe_seq_test/s0000000001
[zk: 127.0.0.1:2281(CONNECTED) 2] ls /ephe_seq_test
[s0000000001]
Zxid（ZooKeeper Transaction Id）

file

每次的變化都會產生一個集羣全局的惟一的事務id， Zxid（ZooKeeper Transaction Id），由Zookeeper的leader實例維護。
這裏的變化包括：

  • 任何的客戶端鏈接到Server
  • 任何的客戶端斷開與Server鏈接
  • 任何的Znode節點被建立create、修改set、刪除delete，rmr

Zxid是一個64位的數字，高32位表示紀元，從1開始，每次選舉出一個新的leader,就會遞增1；低32位是當前紀元維護的單調遞增的數字，一樣從1開始。

Znode 屬性

file

  • cZxid ：建立的事務標識。
  • ctime：建立的時間戳
  • mZxid：修改的事務標識，每次修改操做（set）後都會更新mZxid和mtime。
  • mtime：修改的時間戳
  • pZxid：直接子節點最後更新的事務標識，子節點有變化（建立create、修改set、刪除delete，rmr）時，都會更新pZxid。
  • cversion ：直接子節點的版本號。當子節點有變化（建立create、修改set、刪除delete，rmr）時，cversion 的值就會增長1。
  • dataVersion ：節點數據的版本號，每次對節點進行修改操做（set）後，dataVersion的值都會增長1（即便設置的是相同的數據）。
  • aclVersion ：節點ACL的版本號，每次節點的ACL進行變化時，aclVersion 的值就會增長1。
  • ephemeralOwner：當前節點是臨時節點（ephemeral node ）時，這個ephemeralOwner的值是客戶端持有的session id。
  • dataLength：節點存儲的數據長度，單位爲 B （字節）。
  • numChildren：直接子節點的個數。
➜ zkCli.sh -server 127.0.0.1:2281
[zk: 127.0.0.1:2281(CONNECTED) 0] get /

cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1

默認根節點 / 和 /zookeeper 是存在，所以 cZxid 是 0x0。

[zk: 127.0.0.1:2281(CONNECTED) 1] ls /
[zookeeper]
[zk: 127.0.0.1:2281(CONNECTED) 2] create /test "hello"
Created /test
[zk: 127.0.0.1:2281(CONNECTED) 3] ls /
[zookeeper, test]

當建立了一個 /test 節點後，根節點的子節點就多出來了。

[zk: 127.0.0.1:2281(CONNECTED) 4] get /test
hello
cZxid = 0x100000002
ctime = Sat May 23 15:43:10 CST 2020
mZxid = 0x100000002
mtime = Sat May 23 15:43:10 CST 2020
pZxid = 0x100000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0

爲何cZxid 高32位是 0x1 代表了當前紀元爲第一代，低32位是00000002 代表了當前紀元第2筆事務操做建立了 /test 節點。
爲何是2呢？由於咱們是經過 zkCli.sh 客戶端鏈接到Server的，這裏會消耗一次 Zxid。

[zk: 127.0.0.1:2281(CONNECTED) 5] set /test "hello world"
cZxid = 0x100000002
ctime = Sat May 23 15:43:10 CST 2020
mZxid = 0x100000003
mtime = Sat May 23 15:43:41 CST 2020
pZxid = 0x100000002
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 11
numChildren = 0

修改 /test 節點數據，mZxid ，mtime和 dataVersion發生了變化， dataLength 變爲了（ "hello world"佔用了11個字節）。

[zk: 127.0.0.1:2281(CONNECTED) 6] create /test/a ""   
Created /test/a
[zk: 127.0.0.1:2281(CONNECTED) 7] get /test              
hello world
cZxid = 0x100000002
ctime = Sat May 23 15:43:10 CST 2020
mZxid = 0x100000003
mtime = Sat May 23 15:43:41 CST 2020
pZxid = 0x100000004
cversion = 1
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 11
numChildren = 1

建立 子節點 /test/a，咱們查看 /test 節點屬性，發現 pZxid，cversion, numChildren 都發生了變化。

[zk: 127.0.0.1:2281(CONNECTED) 8] get /test/a

cZxid = 0x100000004
ctime = Sat May 23 15:44:12 CST 2020
mZxid = 0x100000004
mtime = Sat May 23 15:44:12 CST 2020
pZxid = 0x100000004
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 0

查看 /test/a 節點屬性，發現 cZxid 與 父節點的 pZxid 是一致的，證明了 pZxid是直接子節點最後更新的事務標識。

Znode的監視（Watch）

ZooKeeper支持 Watch。客戶端能夠在znode上設置 Watch。

znode更改時，將觸發並刪除監視。觸發監視後，客戶端會收到一個數據包，說明znode已更改。

若是客戶端與其中一個ZooKeeper服務器之間的鏈接斷開，則客戶端將收到本地通知。

3.6.0中的新增功能：

客戶端還能夠在znode上設置永久性的遞歸監視，這些監視在觸發時不會刪除，而且會以遞歸方式觸發註冊znode以及全部子znode的更改。

支持 Watch的 客戶端命令：

  • stat path [watch]

  • ls path [watch]

  • ls2 path [watch]

  • get path [watch]

[zk: 127.0.0.1:2281(CONNECTED) 3] get /test/d watch

cZxid = 0x100000013
ctime = Sat May 23 16:47:41 CST 2020
mZxid = 0x100000013
mtime = Sat May 23 16:47:41 CST 2020
pZxid = 0x100000013
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 0

此時使用另一個客戶端去更改 /test/d 節點的數據，咱們就能夠看到原來的客戶端自動收到了一個WATCHER 通知。

[zk: 127.0.0.1:2281(CONNECTED) 4] 
WATCHER::

WatchedEvent state:SyncConnected type:NodeDataChanged path:/test/d

@SvenAugustus(https://www.flysium.xyz/)
更多請關注微信公衆號【編程不離宗】，專一於分享服務器開發與編程相關的技術乾貨：

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程