zookeeper特性與節點說明

1、zookeeper概要、背景及做用

---

zookeeper產生背景：

項目從單體到分佈式轉變以後，將會產生多個節點之間協同的問題。如：

1. 天天的定時任務由誰哪一個節點來執行？
2. RPC調用時的服務發現?
3. 如何保證併發請求的冪等
4. ....

這些問題能夠統一概括爲多節點協調問題，若是靠節點自身進行協調這是很是不可靠的，性能上也不可取。必須由一個獨立的服務作協調工做，它必須可靠，並且保證性能。

zookeeper概要：

ZooKeeper是用於分佈式應用程序的協調服務。它公開了一組簡單的API，分佈式應用程序能夠基於這些API用於同步，節點狀態、配置等信息、服務註冊等信息。其由JAVA編寫，支持JAVA 和C兩種語言的客戶端。

znode 節點

zookeeper 中數據基本單元叫節點，節點之下可包含子節點，最後以樹級方式程現。每一個節點擁有惟一的路徑path。客戶端基於PATH上傳節點數據，zookeeper 收到後會實時通知對該路徑進行監聽的客戶端。

2、部署與常規配置

---

zookeeper 基於JAVA開發，下載後只要有對應JVM環境便可運行。其默認的端口號是2181運行前得保證其不衝突。

版本說明：

2019年5月20日發行的3.5.5是3.5分支的第一個穩定版本。此版本被認爲是3.4穩定分支的後續版本，能夠用於生產。基於3.4它包含如下新功能

• 動態從新配置
• 本地會議
• 新節點類型：容器，TTL
• 原子廣播協議的SSL支持
• 刪除觀察者的能力
• 多線程提交處理器
• 升級到Netty 4.1
• Maven構建

另請注意：建議的最低JDK版本爲1.8
文件說明：

• apache-zookeeper-xxx-tar.gz 表明源代碼
• apache-zookeeper-xxx-bin.tar.gz 運行版本

下載地址：https://zookeeper.apache.org/releases.html#download
具體部署流程：

#下載
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/current/apache-zookeeper-3.5.5-bin.tar.gz
#解壓
tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz
#拷貝默認配置
cd  {zookeeper_home}/conf 
cp zoo_sample.cfg zoo.cfg
#啓動
 {zookeeper_home}/bin/zkServer.sh

常規配置文件說明：

# zookeeper時間配置中的基本單位 (毫秒)
tickTime=2000
# 容許follower初始化鏈接到leader最大時長，它表示tickTime時間倍數 即:initLimit*tickTime
initLimit=10
# 容許follower與leader數據同步最大時長,它表示tickTime時間倍數 
syncLimit=5
#zookeper 數據存儲目錄
dataDir=/tmp/zookeeper
#對客戶端提供的端口號
clientPort=2181
#單個客戶端與zookeeper最大併發鏈接數
maxClientCnxns=60
# 保存的數據快照數量，以外的將會被清除
autopurge.snapRetainCount=3
#自動觸發清除任務時間間隔，小時爲單位。默認爲0，表示不自動清除。
autopurge.purgeInterval=1

客戶端命令：

基本命令列表
close 
關閉當前會話
connect host:port
從新鏈接指定Zookeeper服務
create [-s] [-e] [-c] [-t ttl] path [data] [acl]
建立節點
delete [-v version] path
刪除節點，(不能存在子節點）
deleteall path
刪除路徑及全部子節點
setquota -n|-b val path
設置節點限額 -n 子節點數 -b 字節數
listquota path
查看節點限額
delquota [-n|-b] path
刪除節點限額
get [-s] [-w] path
查看節點數據 -s 包含節點狀態 -w 添加監聽
getAcl [-s] path
ls [-s] [-w] [-R] path
列出子節點 -s狀態 -R 遞歸查看全部子節點 -w 添加監聽
printwatches on|off
是否打印監聽事件
quit 
退出客戶端
history 
查看執行的歷史記錄
redo cmdno
重複 執行命令，history 中命令編號肯定
removewatches path [-c|-d|-a] [-l]
刪除指定監聽
set [-s] [-v version] path data
設置值
setAcl [-s] [-v version] [-R] path acl
爲節點設置ACL權限
stat [-w] path
查看節點狀態 -w 添加監聽
sync path
強制同步節點

node數據的增刪改查

# 列出子節點 
ls /
#建立節點
create /luban "luban is good man"
# 查看節點
get /luban
# 建立子節點 
create /luban/sex "man"
# 刪除節點
delete /luban/sex
# 刪除全部節點 包括子節點
deleteall /luban

[zk: 127.0.0.1:2181(CONNECTED) 20] ls /
[admin, brokers, cluster, config, consumers, controller, controller_epoch, isr_change_notification, latest_producer_id_block, log_dir_event_notification, tmp0000000095, zookeeper]
[zk: 127.0.0.1:2181(CONNECTED) 21] create /xiaoqiang "xiaoqiang is a good man"
Created /xiaoqiang
[zk: 127.0.0.1:2181(CONNECTED) 22] get /xiaoqiang
xiaoqiang is a good man
[zk: 127.0.0.1:2181(CONNECTED) 23] create /xiaoqiang/age 17
Created /xiaoqiang/age
[zk: 127.0.0.1:2181(CONNECTED) 24] delete /xiaoqiang/age
[zk: 127.0.0.1:2181(CONNECTED) 25] deleteall /xiaoqiang

3、Zookeeper節點介紹

zookeeper 中節點叫znode存儲結構上跟文件系統相似，以樹級結構進行存儲。不一樣以外在於znode沒有目錄的概念，不能執行相似cd之類的命令。znode結構包含以下：

• path:惟一路徑
• childNode：子節點
• stat:狀態屬性

• type:節點類型

  節點類型

  類型	描述
  PERSISTENT	持久節點
  PERSISTENT_SEQUENTIAL	持久序號節點
  EPHEMERAL	臨時節點(不可在擁有子節點)
  EPHEMERAL_SEQUENTIAL	臨時序號節點(不可在擁有子節點)

1. PERSISTENT（持久節點）

持久化保存的節點，也是默認建立的

#默認建立的就是持久節點
create /test

1. PERSISTENT_SEQUENTIAL(持久序號節點)

建立時zookeeper 會在路徑上加上序號做爲後綴，。很是適合用於分佈式鎖、分佈式選舉等場景。建立時添加 -s 參數便可。

#建立序號節點
create -s /test
#返回建立的實際路徑
Created /test0000000001
create -s /test
#返回建立的實際路徑2
Created /test0000000002

1. EPHEMERAL（臨時節點）

臨時節點會在客戶端會話斷開後自動刪除。適用於心跳，服務發現等場景。建立時添加參數-e 便可。

#建立臨時節點， 斷開會話 在鏈接將會自動刪除
create -e /temp

1. EPHEMERAL_SEQUENTIAL（臨時序號節點）

與持久序號節點相似，不一樣之處在於EPHEMERAL_SEQUENTIAL是臨時的會在會話斷開後刪除。建立時添加 -e -s

create -e -s /temp/seq

節點屬性

# 查看節點屬性
stat /luban

其屬性說明以下表：

#建立節點的事物ID
cZxid = 0x385
#建立時間
ctime = Tue Sep 24 17:26:28 CST 2019
#修改節點的事物ID
mZxid = 0x385
#最後修改時間
mtime = Tue Sep 24 17:26:28 CST 2019
# 子節點變動的事物ID
pZxid = 0x385
#這表示對此znode的子節點進行的更改次數（不包括子節點）
cversion = 0
# 數據版本，變動次數
dataVersion = 0
#權限版本，變動次數
aclVersion = 0
#臨時節點所屬會話ID
ephemeralOwner = 0x0
#數據長度
dataLength = 17
#子節點數(不包括子子節點)
numChildren = 0

節點的監聽：

客戶添加 -w 參數可實時監聽節點與子節點的變化，而且實時收到通知。很是適用保障分佈式狀況下的數據一至性。其使用方式以下：
| 命令 | 描述 |
|:----|:----|
| ls -w path | 監聽子節點的變化（增，刪） |
| get -w path | 監聽節點數據的變化 |
| stat -w path | 監聽節點屬性的變化 |
| printwatches on|off | 觸發監聽後，是否打印監聽事件(默認on) |

acl權限設置

ACL全稱爲Access Control List（訪問控制列表），用於控制資源的訪問權限。ZooKeeper使用ACL來控制對其znode的防問。基於scheme🆔permission的方式進行權限控制。scheme表示受權模式、id模式對應值、permission即具體的增刪改權限位。

scheme:認證模型
| 方案 | 描述 |
|:----|:----|
| world | 開放模式，world表示全世界均可以訪問（這是默認設置） |
| ip | ip模式，限定客戶端IP防問 |
| auth | 用戶密碼認證模式，只有在會話中添加了認證才能夠防問 |
| digest | 與auth相似，區別在於auth用明文密碼，而digest 用sha-1+base64加密後的密碼。在實際使用中digest 更常見。 |

permission權限位
| 權限位 | 權限 | 描述 |
|:----|:----|:----|
| c | CREATE | 能夠建立子節點 |
| d | DELETE | 能夠刪除子節點（僅下一級節點） |
| r | READ | 能夠讀取節點數據及顯示子節點列表 |
| w | WRITE | 能夠設置節點數據 |
| a | ADMIN | 能夠設置節點訪問控制列表權限 |

acl 相關命令：
| 命令 | 使用方式 | 描述 |
|:----|:----|:----|
| getAcl | getAcl | 讀取ACL權限 |
| setAcl | setAcl | 設置ACL權限 |
| addauth | addauth | 添加認證用戶 |

world權限示例
語法： setAcl world:anyone: <權限位>
注：world模式中anyone是惟一的值,表示全部人

1. 查看默認節點權限：

#建立一個節點
create -e /testAcl
#查看節點權限
getAcl /testAcl
#返回的默認權限表示 ，全部人擁有全部權限。
'world,'anyone: cdrwa

1. 修改默認權限爲 讀寫

#設置爲rw權限 
setAcl /testAcl world:anyone:rw
# 能夠正常讀
get /testAcl
# 沒法正常建立子節點
create -e /testAcl/t "hi"
# 返回沒有權限的異常
Authentication is not valid : /testAcl/t

IP權限示例：
語法： setAcl ip:<ip地址|地址段>: <權限位>

auth模式示例:
語法：

1. setAcl auth: <用戶名> : <密碼> : <權限位>
2. addauth digest <用戶名> : <密碼>

digest 權限示例：
語法：

1. setAcl digest : <用戶名> : <密鑰> : <權限位>
2. addauth digest <用戶名> : <密碼>

注1：密鑰 經過sha1與base64組合加密碼生成，可經過如下命令生成

echo -n <用戶名>:<密碼> | openssl dgst -binary -sha1 | openssl base64

注2：爲節點設置digest 權限後，訪問前必須執行addauth，當前會話才能夠防問。

1. 設置digest 權限

#先 sha1 加密，而後base64加密
echo -n luban:123456 | openssl dgst -binary -sha1 | openssl base64
#返回密鑰
2Rz3ZtRZEs5RILjmwuXW/wT13Tk=
#設置digest權限
setAcl /luban digest:luban:2Rz3ZtRZEs5RILjmwuXW/wT13Tk=:cdrw

1. 查看節點將顯示沒有權限

#查看節點
get /luban
#顯示沒有權限訪問
org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /luban

1. 給當前會話添加認證後在次查看

#給當前會話添加權限賬戶
addauth digest luban:123456
#在次查看
get /luban
#得到返回結果
luban is good man

ACL的特殊說明：
權限僅對當前節點有效，不會讓子節點繼承。如限制了IP防問A節點，但不妨礙該IP防問A的子節點 /A/B。

還沒關注個人公衆號？

• 掃文末二維碼關注公衆號【小強的進階之路】可領取以下:
• 學習資料： 1T視頻教程：涵蓋Javaweb先後端教學視頻、機器學習/人工智能教學視頻、Linux系統教程視頻、雅思考試視頻教程；
• 100多本書：包含C/C++、Java、Python三門編程語言的經典必看圖書、LeetCode題解大全；
• 軟件工具：幾乎包括你在編程道路上的可能會用到的大部分軟件；
• 項目源碼：20個JavaWeb項目源碼。