zookeeper完整教程（尚硅谷）
第1章 Zookeeper入門
1.1 概述
Zookeeper是一個開源的分佈式的，爲分佈式應用提供協調服務的Apache項目。java
1.2 特色
1.3 數據結構
1.4 應用場景
提供的服務包括：統一命名服務、統一配置管理、統一集羣管理、服務器節點動態上下線、軟負載均衡等。node
1.5 下載地址
https://zookeeper.apache.org/面試
2．下載截圖，如圖5-5，5-6，5-7所示spring
圖5-5 Zookeeper下載（一）apache
圖5-6 Zookeeper下載（二）vim
圖5-7 Zookeeper下載（三）服務器
第2章 Zookeeper安裝
2.1 本地模式安裝部署
1．安裝前準備session
（1）安裝Jdk數據結構
（2）拷貝Zookeeper安裝包到Linux系統下
（3）解壓到指定目錄
[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
2．配置修改
（1）將/opt/module/zookeeper-3.4.10/conf這個路徑下的zoo_sample.cfg修改爲zoo.cfg；
[atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg
（2）打開zoo.cfg文件，修改dataDir路徑：
[atguigu@hadoop102 zookeeper-3.4.10]$ vim zoo.cfg
修改以下內容：
dataDir=/opt/module/zookeeper-3.4.10/zkData
（3）在/opt/module/zookeeper-3.4.10/這個目錄上建立zkData文件夾
[atguigu@hadoop102 zookeeper-3.4.10]$ mkdir zkData
3．操做Zookeeper
（1）啓動Zookeeper
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
（2）查看進程是否啓動
[atguigu@hadoop102 zookeeper-3.4.10]$ jps
4020 Jps
4001 QuorumPeerMain
（3）查看狀態：
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: standalone
（4）啓動客戶端：
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkCli.sh
（5）退出客戶端：
[zk: localhost:2181(CONNECTED) 0] quit
（6）中止Zookeeper
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh stop
2.2 配置參數解讀
Zookeeper中的配置文件zoo.cfg中參數含義解讀以下：
1．tickTime =2000：通訊心跳數，Zookeeper服務器與客戶端心跳時間，單位毫秒
Zookeeper使用的基本時間，服務器之間或客戶端與服務器之間維持心跳的時間間隔，也就是每一個tickTime時間就會發送一個心跳，時間單位爲毫秒。
它用於心跳機制，而且設置最小的session超時時間爲兩倍心跳時間。(session的最小超時時間是2*tickTime)
2．initLimit =10：LF初始通訊時限
集羣中的Follower跟隨者服務器與Leader領導者服務器之間初始鏈接時能容忍的最多心跳數（tickTime的數量），用它來限定集羣中的Zookeeper服務器鏈接到Leader的時限。
3．syncLimit =5：LF同步通訊時限
集羣中Leader與Follower之間的最大響應時間單位，假如響應超過syncLimit * tickTime，Leader認爲Follwer死掉，從服務器列表中刪除Follwer。
4．dataDir：數據文件目錄+數據持久化路徑
主要用於保存Zookeeper中的數據。
5．clientPort =2181：客戶端鏈接端口
監聽客戶端鏈接的端口。
第3章 Zookeeper內部原理
3.1 選舉機制（面試重點）
1）半數機制：集羣中半數以上機器存活，集羣可用。因此Zookeeper適合安裝奇數臺服務器。
2）Zookeeper雖然在配置文件中並無指定Master和Slave。可是，Zookeeper工做時，是有一個節點爲Leader，其餘則爲Follower，Leader是經過內部的選舉機制臨時產生的。
3）以一個簡單的例子來講明整個選舉的過程。
假設有五臺服務器組成的Zookeeper集羣，它們的id從1-5，同時它們都是最新啓動的，也就是沒有歷史數據，在存放數據量這一點上，都是同樣的。假設這些服務器依序啓動，來看看會發生什麼，如圖5-8所示。
圖5-8 Zookeeper的選舉機制
（1）服務器1啓動，此時只有它一臺服務器啓動了，它發出去的報文沒有任何響應，因此它的選舉狀態一直是LOOKING狀態。
（2）服務器2啓動，它與最開始啓動的服務器1進行通訊，互相交換本身的選舉結果，因爲二者都沒有歷史數據，因此id值較大的服務器2勝出，可是因爲沒有達到超過半數以上的服務器都贊成選舉它(這個例子中的半數以上是3)，因此服務器1、2仍是繼續保持LOOKING狀態。
（3）服務器3啓動，根據前面的理論分析，服務器3成爲服務器1、2、3中的老大，而與上面不一樣的是，此時有三臺服務器選舉了它，因此它成爲了此次選舉的Leader。
（4）服務器4啓動，根據前面的分析，理論上服務器4應該是服務器1、2、3、4中最大的，可是因爲前面已經有半數以上的服務器選舉了服務器3，因此它只能接收當小弟的命了。
（5）服務器5啓動，同4同樣當小弟。
3.2 節點類型
3.3 Stat結構體
1）czxid-建立節點的事務zxid
每次修改ZooKeeper狀態都會收到一個zxid形式的時間戳，也就是ZooKeeper事務ID。
事務ID是ZooKeeper中全部修改總的次序。每一個修改都有惟一的zxid，若是zxid1小於zxid2，那麼zxid1在zxid2以前發生。
2）ctime - znode被建立的毫秒數(從1970年開始)
3）mzxid - znode最後更新的事務zxid
4）mtime - znode最後修改的毫秒數(從1970年開始)
5）pZxid-znode最後更新的子節點zxid
6）cversion - znode子節點變化號，znode子節點修改次數
7）dataversion - znode數據變化號
8）aclVersion - znode訪問控制列表的變化號
9）ephemeralOwner- 若是是臨時節點，這個是znode擁有者的session id。若是不是臨時節點則是0。
10）dataLength- znode的數據長度
11）numChildren - znode子節點數量
3.4 監聽器原理（面試重點）
圖5-10 監聽器原理
3.5 寫數據流程
第4章 Zookeeper實戰（開發重點）
4.1 分佈式安裝部署
1．集羣規劃
在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。
2．解壓安裝
（1）解壓Zookeeper安裝包到/opt/module/目錄下
[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
（2）同步/opt/module/zookeeper-3.4.10目錄內容到hadoop103、hadoop104
[atguigu@hadoop102 module]$ xsync zookeeper-3.4.10/
3．配置服務器編號
（1）在/opt/module/zookeeper-3.4.10/這個目錄下建立zkData
[atguigu@hadoop102 zookeeper-3.4.10]$ mkdir -p zkData
（2）在/opt/module/zookeeper-3.4.10/zkData目錄下建立一個myid的文件
[atguigu@hadoop102 zkData]$ touch myid
添加myid文件，注意必定要在linux裏面建立，在notepad++裏面極可能亂碼
（3）編輯myid文件
[atguigu@hadoop102 zkData]$ vi myid
在文件中添加與server對應的編號：
2
（4）拷貝配置好的zookeeper到其餘機器上
[atguigu@hadoop102 zkData]$ xsync myid
並分別在hadoop102、hadoop103上修改myid文件中內容爲3、4
4．配置zoo.cfg文件
（1）重命名/opt/module/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg爲zoo.cfg
[atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg
（2）打開zoo.cfg文件
[atguigu@hadoop102 conf]$ vim zoo.cfg
修改數據存儲路徑配置
dataDir=/opt/module/zookeeper-3.4.10/zkData
增長以下配置
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
（3）同步zoo.cfg配置文件
[atguigu@hadoop102 conf]$ xsync zoo.cfg
（4）配置參數解讀
server.A=B:C:D。
A是一個數字，表示這個是第幾號服務器；
集羣模式下配置一個文件myid，這個文件在dataDir目錄下，這個文件裏面有一個數據就是A的值，Zookeeper啓動時讀取此文件，拿到裏面的數據與zoo.cfg裏面的配置信息比較從而判斷究竟是哪一個server。
B是這個服務器的ip地址；
C是這個服務器與集羣中的Leader服務器交換信息的端口；
D是萬一集羣中的Leader服務器掛了，須要一個端口來從新進行選舉，選出一個新的Leader，而這個端口就是用來執行選舉時服務器相互通訊的端口。
4．集羣操做
（1）分別啓動Zookeeper
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
[atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start
[atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start
（2）查看狀態
[atguigu@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[atguigu@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[atguigu@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
4.2 客戶端命令行操做
表5-1
| 命令基本語法 |
功能描述 |
| help |
顯示全部操做命令 |
| ls path [watch] |
使用 ls 命令來查看當前znode中所包含的內容 |
| ls2 path [watch] |
查看當前節點數據並能看到更新次數等數據 |
| create |
普通建立 -s 含有序列 -e 臨時（重啓或者超時消失） |
| get path [watch] |
得到節點的值 |
| set |
設置節點的具體值 |
| stat |
查看節點狀態 |
| delete |
刪除節點 |
| rmr |
遞歸刪除節點 |
1．啓動客戶端
[atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkCli.sh
2．顯示全部操做命令
[zk: localhost:2181(CONNECTED) 1] help
3．查看當前znode中所包含的內容
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
4．查看當前節點詳細數據
[zk: localhost:2181(CONNECTED) 1] ls2 /
[zookeeper]
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1
5．分別建立2個普通節點
[zk: localhost:2181(CONNECTED) 3] create /sanguo "jinlian"
Created /sanguo
[zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"
Created /sanguo/shuguo
6．得到節點的值
[zk: localhost:2181(CONNECTED) 5] get /sanguo
jinlian
cZxid = 0x100000003
ctime = Wed Aug 29 00:03:23 CST 2018
mZxid = 0x100000003
mtime = Wed Aug 29 00:03:23 CST 2018
pZxid = 0x100000004
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 1
[zk: localhost:2181(CONNECTED) 6]
[zk: localhost:2181(CONNECTED) 6] get /sanguo/shuguo
liubei
cZxid = 0x100000004
ctime = Wed Aug 29 00:04:35 CST 2018
mZxid = 0x100000004
mtime = Wed Aug 29 00:04:35 CST 2018
pZxid = 0x100000004
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0
7．建立短暫節點
[zk: localhost:2181(CONNECTED) 7] create -e /sanguo/wuguo "zhouyu"
Created /sanguo/wuguo
（1）在當前客戶端是能查看到的
[zk: localhost:2181(CONNECTED) 3] ls /sanguo
[wuguo, shuguo]
（2）退出當前客戶端而後再重啓客戶端
[zk: localhost:2181(CONNECTED) 12] quit
[atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkCli.sh
（3）再次查看根目錄下短暫節點已經刪除
[zk: localhost:2181(CONNECTED) 0] ls /sanguo
[shuguo]
8．建立帶序號的節點
（1）先建立一個普通的根節點/sanguo/weiguo
[zk: localhost:2181(CONNECTED) 1] create /sanguo/weiguo "caocao"
Created /sanguo/weiguo
（2）建立帶序號的節點
[zk: localhost:2181(CONNECTED) 2] create -s /sanguo/weiguo/xiaoqiao "jinlian"
Created /sanguo/weiguo/xiaoqiao0000000000
[zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo/daqiao "jinlian"
Created /sanguo/weiguo/daqiao0000000001
[zk: localhost:2181(CONNECTED) 4] create -s /sanguo/weiguo/diaocan "jinlian"
Created /sanguo/weiguo/diaocan0000000002
若是原來沒有序號節點，序號從0開始依次遞增。若是原節點下已有2個節點，則再排序時從2開始，以此類推。
9．修改節點數據值
[zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "simayi"
10．節點的值變化監聽
（1）在hadoop104主機上註冊監聽/sanguo節點數據變化
[zk: localhost:2181(CONNECTED) 26] [zk: localhost:2181(CONNECTED) 8] get /sanguo watch
（2）在hadoop103主機上修改/sanguo節點的數據
[zk: localhost:2181(CONNECTED) 1] set /sanguo "xisi"
（3）觀察hadoop104主機收到數據變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo
11．節點的子節點變化監聽（路徑變化）
（1）在hadoop104主機上註冊監聽/sanguo節點的子節點變化
[zk: localhost:2181(CONNECTED) 1] ls /sanguo watch
[aa0000000001, server101]
（2）在hadoop103主機/sanguo節點上建立子節點
[zk: localhost:2181(CONNECTED) 2] create /sanguo/jin "simayi"
Created /sanguo/jin
（3）觀察hadoop104主機收到子節點變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo
12．刪除節點
[zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin
13．遞歸刪除節點
[zk: localhost:2181(CONNECTED) 15] rmr /sanguo/shuguo
14．查看節點狀態
[zk: localhost:2181(CONNECTED) 17] stat /sanguo
cZxid = 0x100000003
ctime = Wed Aug 29 00:03:23 CST 2018
mZxid = 0x100000011
mtime = Wed Aug 29 00:21:23 CST 2018
pZxid = 0x100000014
cversion = 9
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 1
4.3 API應用
4.3.1 Eclipse環境搭建
1．建立一個Maven工程
2．添加pom文件
| <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.8.2</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper --> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.10</version> </dependency> </dependencies> |
3．拷貝log4j.properties文件到項目根目錄
須要在項目的src/main/resources目錄下，新建一個文件，命名爲「log4j.properties」，在文件中填入。
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
4.3.2 建立ZooKeeper客戶端
| private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181"; private static int sessionTimeout = 2000; private ZooKeeper zkClient = null;
@Before public void init() throws Exception {
zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override public void process(WatchedEvent event) {
// 收到事件通知後的回調函數（用戶的業務邏輯） System.out.println(event.getType() + "--" + event.getPath());
// 再次啓動監聽 try { zkClient.getChildren("/", true); } catch (Exception e) { e.printStackTrace(); } } }); } |
4.3.3 建立子節點
| // 建立子節點 @Test public void create() throws Exception {
// 參數1：要建立的節點的路徑； 參數2：節點數據 ； 參數3：節點權限 ；參數4：節點的類型 String nodeCreated = zkClient.create("/atguigu", "jinlian".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); } |
4.3.4 獲取子節點並監聽節點變化
| // 獲取子節點 @Test public void getChildren() throws Exception {
List<String> children = zkClient.getChildren("/", true);
for (String child : children) { System.out.println(child); }
// 延時阻塞 Thread.sleep(Long.MAX_VALUE); } |
4.3.5 判斷Znode是否存在
| // 判斷znode是否存在 @Test public void exist() throws Exception {
Stat stat = zkClient.exists("/eclipse", false);
System.out.println(stat == null ? "not exist" : "exist"); } |
4.4 監聽服務器節點動態上下線案例
1．需求
某分佈式系統中，主節點能夠有多臺，能夠動態上下線，任意一臺客戶端都能實時感知到主節點服務器的上下線。
2．需求分析，如圖5-12所示
圖5-12 服務器動態上下線
3．具體實現
（0）先在集羣上建立/servers節點
[zk: localhost:2181(CONNECTED) 10] create /servers "servers"
Created /servers
（1）服務器端向Zookeeper註冊代碼
| package com.atguigu.zkcase; import java.io.IOException; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.ZooDefs.Ids;
public class DistributeServer {
private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181"; private static int sessionTimeout = 2000; private ZooKeeper zk = null; private String parentNode = "/servers";
// 建立到zk的客戶端鏈接 public void getConnect() throws IOException{
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override public void process(WatchedEvent event) {
} }); }
// 註冊服務器 public void registServer(String hostname) throws Exception{
String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
System.out.println(hostname +" is online "+ create); }
// 業務功能 public void business(String hostname) throws Exception{ System.out.println(hostname+" is working ...");
Thread.sleep(Long.MAX_VALUE); }
public static void main(String[] args) throws Exception {
// 1獲取zk鏈接 DistributeServer server = new DistributeServer(); server.getConnect();
// 2 利用zk鏈接註冊服務器信息 server.registServer(args[0]);
// 3 啓動業務功能 server.business(args[0]); } } |
（2）客戶端代碼
| package com.atguigu.zkcase; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooKeeper;
public class DistributeClient {
private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181"; private static int sessionTimeout = 2000; private ZooKeeper zk = null; private String parentNode = "/servers";
// 建立到zk的客戶端鏈接 public void getConnect() throws IOException { zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override public void process(WatchedEvent event) {
// 再次啓動監聽 try { getServerList(); } catch (Exception e) { e.printStackTrace(); } } }); }
// 獲取服務器列表信息 public void getServerList() throws Exception {
// 1獲取服務器子節點信息，而且對父節點進行監聽 List<String> children = zk.getChildren(parentNode, true);
// 2存儲服務器信息列表 ArrayList<String> servers = new ArrayList<>();
// 3遍歷全部節點，獲取節點中的主機名稱信息 for (String child : children) { byte[] data = zk.getData(parentNode + "/" + child, false, null);
servers.add(new String(data)); }
// 4打印服務器列表信息 System.out.println(servers); }
// 業務功能 public void business() throws Exception{
System.out.println("client is working ..."); Thread.sleep(Long.MAX_VALUE); }
public static void main(String[] args) throws Exception {
// 1獲取zk鏈接 DistributeClient client = new DistributeClient(); client.getConnect();
// 2獲取servers的子節點信息，從中獲取服務器信息列表 client.getServerList();
// 3業務進程啓動 client.business(); } } |
第5章 企業面試真題
5.1 請簡述ZooKeeper的選舉機制
詳見3.1。
5.2 ZooKeeper的監聽原理是什麼？
詳見3.4。
5.3 ZooKeeper的部署方式有哪幾種？集羣中的角色有哪些？集羣最少須要幾臺機器？
（1）部署方式單機模式、集羣模式
（2）角色：Leader和Follower
（3）集羣最少須要機器數：3
5.4 ZooKeeper的經常使用命令
ls create get delete set…
尚硅谷大數據技術之Zookeeper
(做者：尚硅谷大數據研發部)
版本：V2.0
第1章 Zookeeper入門
1.1 概述
Zookeeper是一個開源的分佈式的，爲分佈式應用提供協調服務的Apache項目。
1.2 特色
1.3 數據結構
1.4 應用場景
提供的服務包括：統一命名服務、統一配置管理、統一集羣管理、服務器節點動態上下線、軟負載均衡等。
1.5 下載地址
2．下載截圖，如圖5-5，5-6，5-7所示
圖5-5 Zookeeper下載（一）
圖5-6 Zookeeper下載（二）
圖5-7 Zookeeper下載（三）
第2章 Zookeeper安裝
2.1 本地模式安裝部署
1．安裝前準備
（1）安裝Jdk
（2）拷貝Zookeeper安裝包到Linux系統下
（3）解壓到指定目錄
[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
2．配置修改
（1）將/opt/module/zookeeper-3.4.10/conf這個路徑下的zoo_sample.cfg修改爲zoo.cfg；
[atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg
（2）打開zoo.cfg文件，修改dataDir路徑：
[atguigu@hadoop102 zookeeper-3.4.10]$ vim zoo.cfg
修改以下內容：
dataDir=/opt/module/zookeeper-3.4.10/zkData
（3）在/opt/module/zookeeper-3.4.10/這個目錄上建立zkData文件夾
[atguigu@hadoop102 zookeeper-3.4.10]$ mkdir zkData
3．操做Zookeeper
（1）啓動Zookeeper
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
（2）查看進程是否啓動
[atguigu@hadoop102 zookeeper-3.4.10]$ jps
4020 Jps
4001 QuorumPeerMain
（3）查看狀態：
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: standalone
（4）啓動客戶端：
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkCli.sh
（5）退出客戶端：
[zk: localhost:2181(CONNECTED) 0] quit
（6）中止Zookeeper
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh stop
2.2 配置參數解讀
Zookeeper中的配置文件zoo.cfg中參數含義解讀以下：
1．tickTime =2000：通訊心跳數，Zookeeper服務器與客戶端心跳時間，單位毫秒
Zookeeper使用的基本時間，服務器之間或客戶端與服務器之間維持心跳的時間間隔，也就是每一個tickTime時間就會發送一個心跳，時間單位爲毫秒。
它用於心跳機制，而且設置最小的session超時時間爲兩倍心跳時間。(session的最小超時時間是2*tickTime)
2．initLimit =10：LF初始通訊時限
集羣中的Follower跟隨者服務器與Leader領導者服務器之間初始鏈接時能容忍的最多心跳數（tickTime的數量），用它來限定集羣中的Zookeeper服務器鏈接到Leader的時限。
3．syncLimit =5：LF同步通訊時限
集羣中Leader與Follower之間的最大響應時間單位，假如響應超過syncLimit * tickTime，Leader認爲Follwer死掉，從服務器列表中刪除Follwer。
4．dataDir：數據文件目錄+數據持久化路徑
主要用於保存Zookeeper中的數據。
5．clientPort =2181：客戶端鏈接端口
監聽客戶端鏈接的端口。
第3章 Zookeeper內部原理
3.1 選舉機制（面試重點）
1）半數機制：集羣中半數以上機器存活，集羣可用。因此Zookeeper適合安裝奇數臺服務器。
2）Zookeeper雖然在配置文件中並無指定Master和Slave。可是，Zookeeper工做時，是有一個節點爲Leader，其餘則爲Follower，Leader是經過內部的選舉機制臨時產生的。
3）以一個簡單的例子來講明整個選舉的過程。
假設有五臺服務器組成的Zookeeper集羣，它們的id從1-5，同時它們都是最新啓動的，也就是沒有歷史數據，在存放數據量這一點上，都是同樣的。假設這些服務器依序啓動，來看看會發生什麼，如圖5-8所示。
圖5-8 Zookeeper的選舉機制
（1）服務器1啓動，此時只有它一臺服務器啓動了，它發出去的報文沒有任何響應，因此它的選舉狀態一直是LOOKING狀態。
（2）服務器2啓動，它與最開始啓動的服務器1進行通訊，互相交換本身的選舉結果，因爲二者都沒有歷史數據，因此id值較大的服務器2勝出，可是因爲沒有達到超過半數以上的服務器都贊成選舉它(這個例子中的半數以上是3)，因此服務器1、2仍是繼續保持LOOKING狀態。
（3）服務器3啓動，根據前面的理論分析，服務器3成爲服務器1、2、3中的老大，而與上面不一樣的是，此時有三臺服務器選舉了它，因此它成爲了此次選舉的Leader。
（4）服務器4啓動，根據前面的分析，理論上服務器4應該是服務器1、2、3、4中最大的，可是因爲前面已經有半數以上的服務器選舉了服務器3，因此它只能接收當小弟的命了。
（5）服務器5啓動，同4同樣當小弟。
3.2 節點類型
3.3 Stat結構體
1）czxid-建立節點的事務zxid
每次修改ZooKeeper狀態都會收到一個zxid形式的時間戳，也就是ZooKeeper事務ID。
事務ID是ZooKeeper中全部修改總的次序。每一個修改都有惟一的zxid，若是zxid1小於zxid2，那麼zxid1在zxid2以前發生。
2）ctime - znode被建立的毫秒數(從1970年開始)
3）mzxid - znode最後更新的事務zxid
4）mtime - znode最後修改的毫秒數(從1970年開始)
5）pZxid-znode最後更新的子節點zxid
6）cversion - znode子節點變化號，znode子節點修改次數
7）dataversion - znode數據變化號
8）aclVersion - znode訪問控制列表的變化號
9）ephemeralOwner- 若是是臨時節點，這個是znode擁有者的session id。若是不是臨時節點則是0。
10）dataLength- znode的數據長度
11）numChildren - znode子節點數量
3.4 監聽器原理（面試重點）
圖5-10 監聽器原理
3.5 寫數據流程
第4章 Zookeeper實戰（開發重點）
4.1 分佈式安裝部署
1．集羣規劃
在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。
2．解壓安裝
（1）解壓Zookeeper安裝包到/opt/module/目錄下
[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
（2）同步/opt/module/zookeeper-3.4.10目錄內容到hadoop103、hadoop104
[atguigu@hadoop102 module]$ xsync zookeeper-3.4.10/
3．配置服務器編號
（1）在/opt/module/zookeeper-3.4.10/這個目錄下建立zkData
[atguigu@hadoop102 zookeeper-3.4.10]$ mkdir -p zkData
（2）在/opt/module/zookeeper-3.4.10/zkData目錄下建立一個myid的文件
[atguigu@hadoop102 zkData]$ touch myid
添加myid文件，注意必定要在linux裏面建立，在notepad++裏面極可能亂碼
（3）編輯myid文件
[atguigu@hadoop102 zkData]$ vi myid
在文件中添加與server對應的編號：
2
（4）拷貝配置好的zookeeper到其餘機器上
[atguigu@hadoop102 zkData]$ xsync myid
並分別在hadoop102、hadoop103上修改myid文件中內容爲3、4
4．配置zoo.cfg文件
（1）重命名/opt/module/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg爲zoo.cfg
[atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg
（2）打開zoo.cfg文件
[atguigu@hadoop102 conf]$ vim zoo.cfg
修改數據存儲路徑配置
dataDir=/opt/module/zookeeper-3.4.10/zkData
增長以下配置
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
（3）同步zoo.cfg配置文件
[atguigu@hadoop102 conf]$ xsync zoo.cfg
（4）配置參數解讀
server.A=B:C:D。
A是一個數字，表示這個是第幾號服務器；
集羣模式下配置一個文件myid，這個文件在dataDir目錄下，這個文件裏面有一個數據就是A的值，Zookeeper啓動時讀取此文件，拿到裏面的數據與zoo.cfg裏面的配置信息比較從而判斷究竟是哪一個server。
B是這個服務器的ip地址；
C是這個服務器與集羣中的Leader服務器交換信息的端口；
D是萬一集羣中的Leader服務器掛了，須要一個端口來從新進行選舉，選出一個新的Leader，而這個端口就是用來執行選舉時服務器相互通訊的端口。
4．集羣操做
（1）分別啓動Zookeeper
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
[atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start
[atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start
（2）查看狀態
[atguigu@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[atguigu@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[atguigu@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
4.2 客戶端命令行操做
表5-1
| 命令基本語法 |
功能描述 |
| help |
顯示全部操做命令 |
| ls path [watch] |
使用 ls 命令來查看當前znode中所包含的內容 |
| ls2 path [watch] |
查看當前節點數據並能看到更新次數等數據 |
| create |
普通建立 -s 含有序列 -e 臨時（重啓或者超時消失） |
| get path [watch] |
得到節點的值 |
| set |
設置節點的具體值 |
| stat |
查看節點狀態 |
| delete |
刪除節點 |
| rmr |
遞歸刪除節點 |
1．啓動客戶端
[atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkCli.sh
2．顯示全部操做命令
[zk: localhost:2181(CONNECTED) 1] help
3．查看當前znode中所包含的內容
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
4．查看當前節點詳細數據
[zk: localhost:2181(CONNECTED) 1] ls2 /
[zookeeper]
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1
5．分別建立2個普通節點
[zk: localhost:2181(CONNECTED) 3] create /sanguo "jinlian"
Created /sanguo
[zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"
Created /sanguo/shuguo
6．得到節點的值
[zk: localhost:2181(CONNECTED) 5] get /sanguo
jinlian
cZxid = 0x100000003
ctime = Wed Aug 29 00:03:23 CST 2018
mZxid = 0x100000003
mtime = Wed Aug 29 00:03:23 CST 2018
pZxid = 0x100000004
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 1
[zk: localhost:2181(CONNECTED) 6]
[zk: localhost:2181(CONNECTED) 6] get /sanguo/shuguo
liubei
cZxid = 0x100000004
ctime = Wed Aug 29 00:04:35 CST 2018
mZxid = 0x100000004
mtime = Wed Aug 29 00:04:35 CST 2018
pZxid = 0x100000004
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0
7．建立短暫節點
[zk: localhost:2181(CONNECTED) 7] create -e /sanguo/wuguo "zhouyu"
Created /sanguo/wuguo
（1）在當前客戶端是能查看到的
[zk: localhost:2181(CONNECTED) 3] ls /sanguo
[wuguo, shuguo]
（2）退出當前客戶端而後再重啓客戶端
[zk: localhost:2181(CONNECTED) 12] quit
[atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkCli.sh
（3）再次查看根目錄下短暫節點已經刪除
[zk: localhost:2181(CONNECTED) 0] ls /sanguo
[shuguo]
8．建立帶序號的節點
（1）先建立一個普通的根節點/sanguo/weiguo
[zk: localhost:2181(CONNECTED) 1] create /sanguo/weiguo "caocao"
Created /sanguo/weiguo
（2）建立帶序號的節點
[zk: localhost:2181(CONNECTED) 2] create -s /sanguo/weiguo/xiaoqiao "jinlian"
Created /sanguo/weiguo/xiaoqiao0000000000
[zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo/daqiao "jinlian"
Created /sanguo/weiguo/daqiao0000000001
[zk: localhost:2181(CONNECTED) 4] create -s /sanguo/weiguo/diaocan "jinlian"
Created /sanguo/weiguo/diaocan0000000002
若是原來沒有序號節點，序號從0開始依次遞增。若是原節點下已有2個節點，則再排序時從2開始，以此類推。
9．修改節點數據值
[zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "simayi"
10．節點的值變化監聽
（1）在hadoop104主機上註冊監聽/sanguo節點數據變化
[zk: localhost:2181(CONNECTED) 26] [zk: localhost:2181(CONNECTED) 8] get /sanguo watch
（2）在hadoop103主機上修改/sanguo節點的數據
[zk: localhost:2181(CONNECTED) 1] set /sanguo "xisi"
（3）觀察hadoop104主機收到數據變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo
11．節點的子節點變化監聽（路徑變化）
（1）在hadoop104主機上註冊監聽/sanguo節點的子節點變化
[zk: localhost:2181(CONNECTED) 1] ls /sanguo watch
[aa0000000001, server101]
（2）在hadoop103主機/sanguo節點上建立子節點
[zk: localhost:2181(CONNECTED) 2] create /sanguo/jin "simayi"
Created /sanguo/jin
（3）觀察hadoop104主機收到子節點變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo
12．刪除節點
[zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin
13．遞歸刪除節點
[zk: localhost:2181(CONNECTED) 15] rmr /sanguo/shuguo
14．查看節點狀態
[zk: localhost:2181(CONNECTED) 17] stat /sanguo
cZxid = 0x100000003
ctime = Wed Aug 29 00:03:23 CST 2018
mZxid = 0x100000011
mtime = Wed Aug 29 00:21:23 CST 2018
pZxid = 0x100000014
cversion = 9
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 1
4.3 API應用
4.3.1 Eclipse環境搭建
1．建立一個Maven工程
2．添加pom文件
| <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.8.2</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper --> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.10</version> </dependency> </dependencies> |
3．拷貝log4j.properties文件到項目根目錄
須要在項目的src/main/resources目錄下，新建一個文件，命名爲「log4j.properties」，在文件中填入。
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
4.3.2 建立ZooKeeper客戶端
| private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181"; private static int sessionTimeout = 2000; private ZooKeeper zkClient = null;
@Before public void init() throws Exception {
zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override public void process(WatchedEvent event) {
// 收到事件通知後的回調函數（用戶的業務邏輯） System.out.println(event.getType() + "--" + event.getPath());
// 再次啓動監聽 try { zkClient.getChildren("/", true); } catch (Exception e) { e.printStackTrace(); } } }); } |
4.3.3 建立子節點
| // 建立子節點 @Test public void create() throws Exception {
// 參數1：要建立的節點的路徑； 參數2：節點數據 ； 參數3：節點權限 ；參數4：節點的類型 String nodeCreated = zkClient.create("/atguigu", "jinlian".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); } |
4.3.4 獲取子節點並監聽節點變化
| // 獲取子節點 @Test public void getChildren() throws Exception {
List<String> children = zkClient.getChildren("/", true);
for (String child : children) { System.out.println(child); }
// 延時阻塞 Thread.sleep(Long.MAX_VALUE); } |
4.3.5 判斷Znode是否存在
| // 判斷znode是否存在 @Test public void exist() throws Exception {
Stat stat = zkClient.exists("/eclipse", false);
System.out.println(stat == null ? "not exist" : "exist"); } |
4.4 監聽服務器節點動態上下線案例
1．需求
某分佈式系統中，主節點能夠有多臺，能夠動態上下線，任意一臺客戶端都能實時感知到主節點服務器的上下線。
2．需求分析，如圖5-12所示
圖5-12 服務器動態上下線
3．具體實現
（0）先在集羣上建立/servers節點
[zk: localhost:2181(CONNECTED) 10] create /servers "servers"
Created /servers
（1）服務器端向Zookeeper註冊代碼
| package com.atguigu.zkcase; import java.io.IOException; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.ZooDefs.Ids;
public class DistributeServer {
private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181"; private static int sessionTimeout = 2000; private ZooKeeper zk = null; private String parentNode = "/servers";
// 建立到zk的客戶端鏈接 public void getConnect() throws IOException{
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override public void process(WatchedEvent event) {
} }); }
// 註冊服務器 public void registServer(String hostname) throws Exception{
String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
System.out.println(hostname +" is online "+ create); }
// 業務功能 public void business(String hostname) throws Exception{ System.out.println(hostname+" is working ...");
Thread.sleep(Long.MAX_VALUE); }
public static void main(String[] args) throws Exception {
// 1獲取zk鏈接 DistributeServer server = new DistributeServer(); server.getConnect();
// 2 利用zk鏈接註冊服務器信息 server.registServer(args[0]);
// 3 啓動業務功能 server.business(args[0]); } } |
（2）客戶端代碼
| package com.atguigu.zkcase; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooKeeper;
public class DistributeClient {
private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181"; private static int sessionTimeout = 2000; private ZooKeeper zk = null; private String parentNode = "/servers";
// 建立到zk的客戶端鏈接 public void getConnect() throws IOException { zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override public void process(WatchedEvent event) {
// 再次啓動監聽 try { getServerList(); } catch (Exception e) { e.printStackTrace(); } } }); }
// 獲取服務器列表信息 public void getServerList() throws Exception {
// 1獲取服務器子節點信息，而且對父節點進行監聽 List<String> children = zk.getChildren(parentNode, true);
// 2存儲服務器信息列表 ArrayList<String> servers = new ArrayList<>();
// 3遍歷全部節點，獲取節點中的主機名稱信息 for (String child : children) { byte[] data = zk.getData(parentNode + "/" + child, false, null);
servers.add(new String(data)); }
// 4打印服務器列表信息 System.out.println(servers); }
// 業務功能 public void business() throws Exception{
System.out.println("client is working ..."); Thread.sleep(Long.MAX_VALUE); }
public static void main(String[] args) throws Exception {
// 1獲取zk鏈接 DistributeClient client = new DistributeClient(); client.getConnect();
// 2獲取servers的子節點信息，從中獲取服務器信息列表 client.getServerList();
// 3業務進程啓動 client.business(); } } |
第5章 企業面試真題
5.1 請簡述ZooKeeper的選舉機制
詳見3.1。
5.2 ZooKeeper的監聽原理是什麼？
詳見3.4。
5.3 ZooKeeper的部署方式有哪幾種？集羣中的角色有哪些？集羣最少須要幾臺機器？
（1）部署方式單機模式、集羣模式
（2）角色：Leader和Follower
（3）集羣最少須要機器數：3
5.4 ZooKeeper的經常使用命令
ls create get delete set…
- 1. 尚硅谷20天Java核心技術教程完整版
- 2. 最新尚硅谷Git和GitHub視頻教程完整版
- 3. 尚硅谷JDBC
- 4. 最新《尚硅谷Android項目之硅谷商城教程》
- 5. 尚硅谷linux教程16-shell變量
- 6. 尚硅谷之JDBC
- 7. 尚硅谷 ssh 框架整合
- 8. 尚硅谷周陽Docker思惟導圖(官方完整版)
- 9. 最新尚硅谷Git和GitHub完整版
- 10. 尚硅谷Git和GitHub項目實戰(完整)
- 更多相關文章...
- • PHP 完整表單實例 - PHP教程
- • Maven 教程 - Maven教程
- • Java 8 Stream 教程
- • YAML 入門教程
-
每一个你不满意的现在，都有一个你没有努力的曾经。