大數據技術之Zookeeper

第1章 Zookeeper入門

1.1 概述

Zookeeper是一個開源的分佈式的，爲分佈式應用提供協調服務的Apache項目。

1.2 特色

1.3 數據結構

1.4 應用場景

提供的服務包括：統一命名服務、統一配置管理、統一集羣管理、服務器節點動態上下線、軟負載均衡等。

1.5 下載地址

1．官網首頁：

https://zookeeper.apache.org/

2．下載截圖，如圖5-5，5-6，5-7所示

圖5-5 Zookeeper下載（一）

圖5-6 Zookeeper下載（二）

圖5-7 Zookeeper下載（三）

第2章 Zookeeper安裝

2.1 本地模式安裝部署

1．安裝前準備

（1）安裝Jdk

（2）拷貝Zookeeper安裝包到Linux系統下

（3）解壓到指定目錄

[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

2．配置修改

（1）將/opt/module/zookeeper-3.4.10/conf這個路徑下的zoo_sample.cfg修改成zoo.cfg；

[atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

    （2）打開zoo.cfg文件，修改dataDir路徑：

[atguigu@hadoop102 zookeeper-3.4.10]$ vim zoo.cfg

修改以下內容：

dataDir=/opt/module/zookeeper-3.4.10/zkData

    （3）在/opt/module/zookeeper-3.4.10/這個目錄上建立zkData文件夾

[atguigu@hadoop102 zookeeper-3.4.10]$ mkdir zkData

3．操做Zookeeper

（1）啓動Zookeeper

[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start

（2）查看進程是否啓動

[atguigu@hadoop102 zookeeper-3.4.10]$ jps

4020 Jps

4001 QuorumPeerMain

（3）查看狀態：

[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Mode: standalone

（4）啓動客戶端：

[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkCli.sh

（5）退出客戶端：

[zk: localhost:2181(CONNECTED) 0] quit

（6）中止Zookeeper

[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh stop

2.2 配置參數解讀

Zookeeper中的配置文件zoo.cfg中參數含義解讀以下：

1．tickTime =2000：通訊心跳數，Zookeeper服務器與客戶端心跳時間，單位毫秒

Zookeeper使用的基本時間，服務器之間或客戶端與服務器之間維持心跳的時間間隔，也就是每一個tickTime時間就會發送一個心跳，時間單位爲毫秒。

它用於心跳機制，而且設置最小的session超時時間爲兩倍心跳時間。(session的最小超時時間是2*tickTime)

2．initLimit =10：LF初始通訊時限

集羣中的Follower跟隨者服務器與Leader領導者服務器之間初始鏈接時能容忍的最多心跳數（tickTime的數量），用它來限定集羣中的Zookeeper服務器鏈接到Leader的時限。

3．syncLimit =5：LF同步通訊時限

集羣中Leader與Follower之間的最大響應時間單位，假如響應超過syncLimit * tickTime，Leader認爲Follwer死掉，從服務器列表中刪除Follwer。

4．dataDir：數據文件目錄+數據持久化路徑

主要用於保存Zookeeper中的數據。

5．clientPort =2181：客戶端鏈接端口

監聽客戶端鏈接的端口。

第3章 Zookeeper內部原理

3.1 選舉機制（面試重點）

1）半數機制：集羣中半數以上機器存活，集羣可用。因此Zookeeper適合安裝奇數臺服務器。

2）Zookeeper雖然在配置文件中並無指定Master和Slave。可是，Zookeeper工做時，是有一個節點爲Leader，其餘則爲Follower，Leader是經過內部的選舉機制臨時產生的。

3）以一個簡單的例子來講明整個選舉的過程。

假設有五臺服務器組成的Zookeeper集羣，它們的id從1-5，同時它們都是最新啓動的，也就是沒有歷史數據，在存放數據量這一點上，都是同樣的。假設這些服務器依序啓動，來看看會發生什麼，如圖5-8所示。

圖5-8 Zookeeper的選舉機制

（1）服務器1啓動，此時只有它一臺服務器啓動了，它發出去的報文沒有任何響應，因此它的選舉狀態一直是LOOKING狀態。

（2）服務器2啓動，它與最開始啓動的服務器1進行通訊，互相交換本身的選舉結果，因爲二者都沒有歷史數據，因此id值較大的服務器2勝出，可是因爲沒有達到超過半數以上的服務器都贊成選舉它(這個例子中的半數以上是3)，因此服務器一、2仍是繼續保持LOOKING狀態。

（3）服務器3啓動，根據前面的理論分析，服務器3成爲服務器一、二、3中的老大，而與上面不一樣的是，此時有三臺服務器選舉了它，因此它成爲了此次選舉的Leader。

（4）服務器4啓動，根據前面的分析，理論上服務器4應該是服務器一、二、三、4中最大的，可是因爲前面已經有半數以上的服務器選舉了服務器3，因此它只能接收當小弟的命了。

（5）服務器5啓動，同4同樣當小弟。

3.2 節點類型

3.3 Stat結構體

1）czxid-建立節點的事務zxid

每次修改ZooKeeper狀態都會收到一個zxid形式的時間戳，也就是ZooKeeper事務ID。

事務ID是ZooKeeper中全部修改總的次序。每一個修改都有惟一的zxid，若是zxid1小於zxid2，那麼zxid1在zxid2以前發生。

2）ctime - znode被建立的毫秒數(從1970年開始)

3）mzxid - znode最後更新的事務zxid

4）mtime - znode最後修改的毫秒數(從1970年開始)

5）pZxid-znode最後更新的子節點zxid

6）cversion - znode子節點變化號，znode子節點修改次數

7）dataversion - znode數據變化號

8）aclVersion - znode訪問控制列表的變化號

9）ephemeralOwner- 若是是臨時節點，這個是znode擁有者的session id。若是不是臨時節點則是0。

10）dataLength- znode的數據長度

11）numChildren - znode子節點數量

3.4 監聽器原理（面試重點）

圖5-10 監聽器原理

3.5 寫數據流程

第4章 Zookeeper實戰（開發重點）

4.1 分佈式安裝部署

1．集羣規劃

在hadoop10二、hadoop103和hadoop104三個節點上部署Zookeeper。

2．解壓安裝

（1）解壓Zookeeper安裝包到/opt/module/目錄下

[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

（2）同步/opt/module/zookeeper-3.4.10目錄內容到hadoop10三、hadoop104

[atguigu@hadoop102 module]$ xsync zookeeper-3.4.10/

3．配置服務器編號

（1）在/opt/module/zookeeper-3.4.10/這個目錄下建立zkData

[atguigu@hadoop102 zookeeper-3.4.10]$ mkdir -p zkData

（2）在/opt/module/zookeeper-3.4.10/zkData目錄下建立一個myid的文件

[atguigu@hadoop102 zkData]$ touch myid

添加myid文件，注意必定要在linux裏面建立，在notepad++裏面極可能亂碼

（3）編輯myid文件

[atguigu@hadoop102 zkData]$ vi myid

    在文件中添加與server對應的編號：

2

（4）拷貝配置好的zookeeper到其餘機器上

[atguigu@hadoop102 zkData]$ xsync myid

並分別在hadoop10二、hadoop103上修改myid文件中內容爲三、4

4．配置zoo.cfg文件

（1）重命名/opt/module/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg爲zoo.cfg

[atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

（2）打開zoo.cfg文件

[atguigu@hadoop102 conf]$ vim zoo.cfg

修改數據存儲路徑配置

dataDir=/opt/module/zookeeper-3.4.10/zkData

增長以下配置

#######################cluster##########################

server.2=hadoop102:2888:3888

server.3=hadoop103:2888:3888

server.4=hadoop104:2888:3888

（3）同步zoo.cfg配置文件

[atguigu@hadoop102 conf]$ xsync zoo.cfg

（4）配置參數解讀

server.A=B:C:D。

A是一個數字，表示這個是第幾號服務器；

集羣模式下配置一個文件myid，這個文件在dataDir目錄下，這個文件裏面有一個數據就是A的值，Zookeeper啓動時讀取此文件，拿到裏面的數據與zoo.cfg裏面的配置信息比較從而判斷究竟是哪一個server。

B是這個服務器的ip地址；

C是這個服務器與集羣中的Leader服務器交換信息的端口；

D是萬一集羣中的Leader服務器掛了，須要一個端口來從新進行選舉，選出一個新的Leader，而這個端口就是用來執行選舉時服務器相互通訊的端口。

4．集羣操做

（1）分別啓動Zookeeper

[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start

[atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start

[atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start

（2）查看狀態

[atguigu@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Mode: follower

[atguigu@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Mode: leader

[atguigu@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Mode: follower

4.2 客戶端命令行操做

表5-1

命令基本語法	功能描述
help	顯示全部操做命令
ls path [watch]	使用 ls 命令來查看當前znode中所包含的內容
ls2 path [watch]	查看當前節點數據並能看到更新次數等數據
create	普通建立 -s 含有序列 -e 臨時（重啓或者超時消失）
get path [watch]	得到節點的值
set	設置節點的具體值
stat	查看節點狀態
delete	刪除節點
rmr	遞歸刪除節點

1．啓動客戶端

[atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkCli.sh

2．顯示全部操做命令

[zk: localhost:2181(CONNECTED) 1] help

3．查看當前znode中所包含的內容

[zk: localhost:2181(CONNECTED) 0] ls /

[zookeeper]

4．查看當前節點詳細數據

[zk: localhost:2181(CONNECTED) 1] ls2 /

[zookeeper]

cZxid = 0x0

ctime = Thu Jan 01 08:00:00 CST 1970

mZxid = 0x0

mtime = Thu Jan 01 08:00:00 CST 1970

pZxid = 0x0

cversion = -1

dataVersion = 0

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 0

numChildren = 1

5．分別建立2個普通節點

[zk: localhost:2181(CONNECTED) 3] create /sanguo "jinlian"

Created /sanguo

[zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"

Created /sanguo/shuguo

6．得到節點的值

[zk: localhost:2181(CONNECTED) 5] get /sanguo

jinlian

cZxid = 0x100000003

ctime = Wed Aug 29 00:03:23 CST 2018

mZxid = 0x100000003

mtime = Wed Aug 29 00:03:23 CST 2018

pZxid = 0x100000004

cversion = 1

dataVersion = 0

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 7

numChildren = 1

[zk: localhost:2181(CONNECTED) 6]

[zk: localhost:2181(CONNECTED) 6] get /sanguo/shuguo

liubei

cZxid = 0x100000004

ctime = Wed Aug 29 00:04:35 CST 2018

mZxid = 0x100000004

mtime = Wed Aug 29 00:04:35 CST 2018

pZxid = 0x100000004

cversion = 0

dataVersion = 0

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 6

numChildren = 0

7．建立短暫節點

[zk: localhost:2181(CONNECTED) 7] create -e /sanguo/wuguo "zhouyu"

Created /sanguo/wuguo

（1）在當前客戶端是能查看到的

[zk: localhost:2181(CONNECTED) 3] ls /sanguo

[wuguo, shuguo]

（2）退出當前客戶端而後再重啓客戶端

[zk: localhost:2181(CONNECTED) 12] quit

[atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkCli.sh

（3）再次查看根目錄下短暫節點已經刪除

[zk: localhost:2181(CONNECTED) 0] ls /sanguo

[shuguo]

8．建立帶序號的節點

    （1）先建立一個普通的根節點/sanguo/weiguo

[zk: localhost:2181(CONNECTED) 1] create /sanguo/weiguo "caocao"

Created /sanguo/weiguo

    （2）建立帶序號的節點

[zk: localhost:2181(CONNECTED) 2] create -s /sanguo/weiguo/xiaoqiao "jinlian"

Created /sanguo/weiguo/xiaoqiao0000000000

[zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo/daqiao "jinlian"

Created /sanguo/weiguo/daqiao0000000001

[zk: localhost:2181(CONNECTED) 4] create -s /sanguo/weiguo/diaocan "jinlian"

Created /sanguo/weiguo/diaocan0000000002

若是原來沒有序號節點，序號從0開始依次遞增。若是原節點下已有2個節點，則再排序時從2開始，以此類推。

9．修改節點數據值

[zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "simayi"

10．節點的值變化監聽

    （1）在hadoop104主機上註冊監聽/sanguo節點數據變化

[zk: localhost:2181(CONNECTED) 26] [zk: localhost:2181(CONNECTED) 8] get /sanguo watch

    （2）在hadoop103主機上修改/sanguo節點的數據

[zk: localhost:2181(CONNECTED) 1] set /sanguo "xisi"

    （3）觀察hadoop104主機收到數據變化的監聽

WATCHER::

WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo

11．節點的子節點變化監聽（路徑變化）

    （1）在hadoop104主機上註冊監聽/sanguo節點的子節點變化

[zk: localhost:2181(CONNECTED) 1] ls /sanguo watch

[aa0000000001, server101]

    （2）在hadoop103主機/sanguo節點上建立子節點

[zk: localhost:2181(CONNECTED) 2] create /sanguo/jin "simayi"

Created /sanguo/jin

    （3）觀察hadoop104主機收到子節點變化的監聽

WATCHER::

WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

12．刪除節點

[zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin

13．遞歸刪除節點

[zk: localhost:2181(CONNECTED) 15] rmr /sanguo/shuguo

14．查看節點狀態

[zk: localhost:2181(CONNECTED) 17] stat /sanguo

cZxid = 0x100000003

ctime = Wed Aug 29 00:03:23 CST 2018

mZxid = 0x100000011

mtime = Wed Aug 29 00:21:23 CST 2018

pZxid = 0x100000014

cversion = 9

dataVersion = 1

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 4

numChildren = 1

4.3 API應用

4.3.1 Eclipse環境搭建

1．建立一個Maven工程

2．添加pom文件

<dependencies>         <dependency>             <groupId>junit</groupId>             <artifactId>junit</artifactId>             <version>RELEASE</version>         </dependency>         <dependency>             <groupId>org.apache.logging.log4j</groupId>             <artifactId>log4j-core</artifactId>             <version>2.8.2</version>         </dependency>         <!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper -->         <dependency>             <groupId>org.apache.zookeeper</groupId>             <artifactId>zookeeper</artifactId>             <version>3.4.10</version>         </dependency> </dependencies>

3．拷貝log4j.properties文件到項目根目錄

須要在項目的src/main/resources目錄下，新建一個文件，命名爲"log4j.properties"，在文件中填入。

log4j.rootLogger=INFO, stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n

log4j.appender.logfile=org.apache.log4j.FileAppender

log4j.appender.logfile.File=target/spring.log

log4j.appender.logfile.layout=org.apache.log4j.PatternLayout

log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

4.3.2 建立ZooKeeper客戶端

private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";     private static int sessionTimeout = 2000;     private ZooKeeper zkClient = null;       @Before     public void init() throws Exception {       zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {               @Override             public void process(WatchedEvent event) {                   // 收到事件通知後的回調函數（用戶的業務邏輯）                 System.out.println(event.getType() + "--" + event.getPath());                   // 再次啓動監聽                 try {                     zkClient.getChildren("/", true);                 } catch (Exception e) {                     e.printStackTrace();                 }             }         });     }

4.3.3 建立子節點

// 建立子節點 @Test public void create() throws Exception {           // 參數1：要建立的節點的路徑； 參數2：節點數據 ； 參數3：節點權限 ；參數4：節點的類型         String nodeCreated = zkClient.create("/atguigu", "jinlian".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); }

4.3.4 獲取子節點並監聽節點變化

// 獲取子節點 @Test public void getChildren() throws Exception {           List<String> children = zkClient.getChildren("/", true);           for (String child : children) {             System.out.println(child);         }           // 延時阻塞         Thread.sleep(Long.MAX_VALUE); }

4.3.5 判斷Znode是否存在

// 判斷znode是否存在 @Test public void exist() throws Exception {       Stat stat = zkClient.exists("/eclipse", false);       System.out.println(stat == null ? "not exist" : "exist"); }

4.4 監聽服務器節點動態上下線案例

1．需求

某分佈式系統中，主節點能夠有多臺，能夠動態上下線，任意一臺客戶端都能實時感知到主節點服務器的上下線。

2．需求分析，如圖5-12所示

圖5-12 服務器動態上下線

3．具體實現

（0）先在集羣上建立/servers節點

[zk: localhost:2181(CONNECTED) 10] create /servers "servers"

Created /servers

（1）服務器端向Zookeeper註冊代碼

package com.atguigu.zkcase; import java.io.IOException; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.ZooDefs.Ids;   public class DistributeServer {       private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";     private static int sessionTimeout = 2000;     private ZooKeeper zk = null;     private String parentNode = "/servers";          // 建立到zk的客戶端鏈接     public void getConnect() throws IOException{                  zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {               @Override             public void process(WatchedEvent event) {               }         });     }          // 註冊服務器     public void registServer(String hostname) throws Exception{           String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);                  System.out.println(hostname +" is online "+ create);     }          // 業務功能     public void business(String hostname) throws Exception{         System.out.println(hostname+" is working ...");                  Thread.sleep(Long.MAX_VALUE);     }          public static void main(String[] args) throws Exception {          // 1獲取zk鏈接         DistributeServer server = new DistributeServer();         server.getConnect();                  // 2 利用zk鏈接註冊服務器信息         server.registServer(args[0]);                  // 3 啓動業務功能         server.business(args[0]);     } }

（2）客戶端代碼

package com.atguigu.zkcase; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooKeeper;   public class DistributeClient {       private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";     private static int sessionTimeout = 2000;     private ZooKeeper zk = null;     private String parentNode = "/servers";       // 建立到zk的客戶端鏈接     public void getConnect() throws IOException {         zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {               @Override             public void process(WatchedEvent event) {                   // 再次啓動監聽                 try {                     getServerList();                 } catch (Exception e) {                     e.printStackTrace();                 }             }         });     }       // 獲取服務器列表信息     public void getServerList() throws Exception {                  // 1獲取服務器子節點信息，而且對父節點進行監聽         List<String> children = zk.getChildren(parentNode, true);   // 2存儲服務器信息列表         ArrayList<String> servers = new ArrayList<>();          // 3遍歷全部節點，獲取節點中的主機名稱信息         for (String child : children) {             byte[] data = zk.getData(parentNode + "/" + child, false, null);               servers.add(new String(data));         }   // 4打印服務器列表信息         System.out.println(servers);     }       // 業務功能     public void business() throws Exception{           System.out.println("client is working ..."); Thread.sleep(Long.MAX_VALUE);     }       public static void main(String[] args) throws Exception {           // 1獲取zk鏈接         DistributeClient client = new DistributeClient();         client.getConnect();           // 2獲取servers的子節點信息，從中獲取服務器信息列表         client.getServerList();           // 3業務進程啓動         client.business();     } }

第5章 企業面試真題

5.1 請簡述ZooKeeper的選舉機制

詳見3.1。

5.2 ZooKeeper的監聽原理是什麼？

詳見3.4。

5.3 ZooKeeper的部署方式有哪幾種？集羣中的角色有哪些？集羣最少須要幾臺機器？

（1）部署方式單機模式、集羣模式

（2）角色：Leader和Follower

（3）集羣最少須要機器數：3

5.4 ZooKeeper的經常使用命令

ls create get delete set…