分佈式協調服務zookeeper總結
1.zookeeper簡介
1.1簡介
Zookeeper是一個分佈式協調服務，換言之，就是爲用戶的分佈式應用程序提供協調服務java
- zookeeper是爲別的分佈式程序服務的
- Zookeeper自己就是一個分佈式程序（只要有半數以上節點存活，zk就能正常服務）
- Zookeeper所提供的服務涵蓋：主從協調、服務器節點動態上下線、統一配置管理、分佈式共享鎖、統一名稱服務
- 雖說能夠提供各類服務，可是zookeeper在底層其實只提供了兩個功能（管理數據和監聽數據）： 管理(存儲，讀取)用戶程序提交的數據； 併爲用戶程序提供數據節點監聽服務；
1.2 Zookeeper集羣的角色： Leader 和 follower
Zookeeper在配置文件中並無指定master和slave，啓動以後經過內部的選舉機制選舉出leader和follower，並且只有一個leader，其餘則爲follower。zookeeper集羣中只要有半數以上節點存活，集羣就能提供服務。 2.zookeeper集羣機制 半數機制：集羣中半數以上機器存活，集羣可用。 zookeeper適合裝在奇數臺機器上！！！node
2.zookeeper安裝與配置
2.1zookeeper安裝
- 安裝到3臺虛擬機上（須要提早安裝好JDK） 將zookeeper壓縮包上傳至/apps/package目錄並解壓
tar -zxvf zookeeper-3.4.5.tar.gz
複製代碼
- 重命名
mv zookeeper-3.4.5 zookeeper（重命名文件夾zookeeper-3.4.5爲zookeeper）
複製代碼
- 修改環境變量
vi /etc/profile
添加內容：
export ZOOKEEPER_HOME=/apps/package/zookeeper
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin
複製代碼
- 從新編譯文件： source /etc/profile 三臺機器都須要修改
2.2 修改配置文件
- 先複製一份 cd zookeeper/conf cp zoo_sample.cfg zoo.cfg
- 編輯 vi zoo.cfg
添加內容：
dataDir=/apps/package/zookeeper/data
dataLogDir=/apps/package/zookeeper/log
server.1=mini1:2888:3888
server.2=mini2:2888:3888
server.3=mini3:2888:3888
複製代碼
- 建立文件夾：
cd /apps/package/zookeeper
mkdir -m 755 data
mkdir -m 755 log
複製代碼
- 在data文件夾下新建myid文件，myid的文件內容爲：
cd data
vi myid
添加內容：
1
複製代碼
mini2和mini3服務器的請修改爲2,3，未來會按這個myid選中出leader和follow。linux
- 將集羣複製到其餘機器上
scp -r /apps/package/zookeeper root@mini2:/apps/package/
scp -r /apps/package/zookeeper root@mini3:/apps/package/
複製代碼
若是在mini1中ping不通mini2和mini3,須要在hosts文件中配置mini2和mini3的ip地址apache
- 修改其餘機器的配置文件 到mini2上：修改myid爲：2 到mini3上：修改myid爲：3 並且/etc/profile的路徑也不要忘了修改
- 啓動（每臺機器）
zkServer.sh start
zkServer.sh start-foreground(能夠看到啓動日誌)
複製代碼
- 查看集羣狀態
jps（查看進程）
zkServer.sh status（查看集羣狀態，主從信息）
複製代碼
若是報端口占用，參考下面連接解決：http://blog.csdn.net/u014686180/article/details/51767863api
3.zookeeper數據結構和經常使用操做
3.1zookeeper特性
- Zookeeper：一個leader，多個follower組成的集羣
- 全局數據一致：每一個server保存一份相同的數據副本，client不管鏈接到哪一個server，數據都是一致的
- 分佈式讀寫，更新請求轉發，由leader實施
- 更新請求順序進行，來自同一個client的更新請求按其發送順序依次執行
- 數據更新原子性，一次數據更新要麼成功，要麼失敗
- 實時性，在必定時間範圍內，client能讀到最新數據
3.2zookeeper數據結構
- 層次化的目錄結構;
- 每一個節點在zookeeper中叫作znode,而且其有一個惟一的路徑標識;
- 節點Znode能夠包含數據和子節點（可是EPHEMERAL類型的節點不能有子節點）;
- 客戶端應用能夠在節點上設置監視器。
3.3節點類型
- Znode有兩種類型： 短暫（ephemeral）（斷開鏈接本身刪除） 持久（persistent）（斷開鏈接不刪除）
- Znode有四種形式的目錄節點（默認是persistent ） PERSISTENT PERSISTENT_SEQUENTIAL（持久序列/test0000000019 ） EPHEMERAL EPHEMERAL_SEQUENTIAL
- 建立znode時設置順序標識，znode名稱後會附加一個值，順序號是一個單調遞增的計數器，由父節點維護
- 在分佈式系統中，順序號能夠被用於爲全部的事件進行全局排序，這樣客戶端能夠經過順序號推斷事件的順序
使用客戶端操做節點
- 使用命令鏈接zookeeper服務端：
zkCli.sh -主機名(ip):2181
如：zkCli.sh -mini2:2181
複製代碼
- 使用 ls 命令來查看當前 ZooKeeper 中所包含的內容：
ls /
複製代碼
- 建立一個新的 znode ，使用 create /zk myData 。這個命令建立了一個新的 znode 節點「 zk 」以及與它關聯的字符串：
create /zk "myData「 複製代碼
- 咱們運行 get 命令來確認 znode 是否包含咱們所建立的字符串：
get /zk
複製代碼
-監聽這個節點的變化,當另一個客戶端改變/zk時,輸出監聽到的變化bash
get /zk watch
複製代碼
- 使用set 命令來對 zk 所關聯的字符串進行設置：
set /zk "zsl「 複製代碼
- 使用delete刪除 znode 節點：
delete /zk
複製代碼
- 刪除節點(與上面的區別是這個能夠刪除目錄)：rmr
rmr /zk
複製代碼
參考文檔：http://www.cnblogs.com/likehua/tag/zookeeper/服務器
4.使用java操做zookeeper的api
- 首先須要引入zookeeper的jar包，這個jar包須要依賴其它的jar，能夠直接到maven倉庫下載。
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.4.10</version>
<type>pom</type>
</dependency>
複製代碼
- 經常使用的增刪查改api操做以下： create 在目錄樹中建立一個節點 delete 刪除一個節點 exists 測試是否存在目標節點 get/set data 從目標節點上讀取 / 更新數據 get/set ACL 獲取 / 設置目標節點訪問控制列表信息 get children 檢索一個子節點上的列表 sync 等待要被傳送的數據 使用java操做代碼以下：
public class SimpleZkClient {
private static final String CONNECT_URL = "mini1:2181,mini2:2181,mini3:2181";
private static final int SESSION_TIME_OUT = 2000;
ZooKeeper zkCli = null;
@Before
public void init() throws Exception{
zkCli = new ZooKeeper(CONNECT_URL, SESSION_TIME_OUT, new Watcher() {
@Override
public void process(WatchedEvent event) {
System.out.println(event.getType()+"-----------"+event.getPath());
try{
zkCli.getChildren("/", true);
}catch (Exception e){
}
}
});
}
/**
* @Description 添加節點數據
* @Author 劉俊重
*/
@Test
public void create() throws Exception{
// 參數1：要建立的節點的路徑 參數2：節點大數據 參數3：節點的權限 參數4：節點的類型。上傳的數據能夠是任何類型，但都要轉成byte[]
String s = zkCli.create("/zk", "test".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
}
/**
* @Description 判斷節點是否存在
* @Author 劉俊重
*/
@Test
public void isExist() throws Exception{
Stat exists = zkCli.exists("/zk", false);
System.out.println(null==exists?"不存在":"存在");
}
/**
* @Description 獲取節點數據
* @Author 劉俊重
*/
@Test
public void getData() throws Exception{
byte[] data = zkCli.getData("/zk", false, null);
System.out.println("節點數據："+new String(data));
}
/**
* @Description 遍歷節點數據
* @Author 劉俊重
*/
@Test
public void getChildren() throws Exception{
List<String> children = zkCli.getChildren("/", false);
for(String s : children){
System.out.println("節點名稱："+s);
}
Thread.sleep(Long.MAX_VALUE);
}
/**
* @Description 刪除節點數據
* @Author 劉俊重
*/
@Test
public void delete() throws Exception{
//參數2：指定要刪除的版本，-1表示刪除全部版本
zkCli.delete("/zk",-1);
this.isExist();
}
/**
* @Description 更新節點數據
* @Author 劉俊重
*/
@Test
public void update() throws Exception{
Stat stat = zkCli.setData("/zk", "newtest".getBytes(), -1);
this.getData();
}
}
複製代碼
Thread.sleep(Long.MAX_VALUE);是爲了避免讓程序執行完以後立馬結束，讓它睡一會，測試監聽是否實現，同時在process回調函數中寫了收到通知的操做， zkCli.getChildren("/", true);這時若是咱們經過linux命令行操做了zookeeper操做節點就會觸發這裏的監聽事件。數據結構
5.zookeeper的使用場景
5.1場景一：客戶端動態感知服務端節點變化，實現高可用
如今假設有這樣一種需求：服務端節點有多個，能夠動態的上下線；須要讓任意一臺客戶端都能實時感知服務端節點的變化，進而鏈接目前可提供服務的節點。 實現思路：咱們能夠藉助於zookeeper這個第三方中間件，在每臺服務器啓動時都向zookeeper註冊服務器的節點信息（好比：/servers/server01;/servers/server02）；客戶端每次調用以前都經過getChildren方法獲取最新的服務器節點信息，同時客戶端在zookeeper註冊監聽，監聽服務器節點的變化；若是某刻服務器server01下線了，zookeeper就會發出節點變化通知客戶端，回調process方法拉取最新的服務器節點信息。 服務端代碼以下：app
public class DistributeServer {
private static final String CONNECT_URL = "mini1:2181,mini2:2181,mini3:2181";
private static final int SESSION_TIME_OUT = 2000;
private static final String PARENT_NODE = "/servers";
private ZooKeeper zkCli = null;
/**
* @Description 獲取鏈接
* @Author 劉俊重
* @Date 2017/12/13
*/
public void getConnect() throws Exception{
zkCli = new ZooKeeper(CONNECT_URL, SESSION_TIME_OUT, new Watcher() {
@Override
public void process(WatchedEvent event) {
System.out.println(event.getType()+"-----------"+event.getPath());
try{
zkCli.getChildren("/", true);
}catch (Exception e){
}
}
});
}
/**
* @Description 服務器啓動時向zookeeper註冊服務信息
* @Author 劉俊重
* @Date 2017/12/13
*/
public void registerServer(String hostName) throws Exception {
String s = zkCli.create(PARENT_NODE + "/", hostName.getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
System.out.println("服務器："+hostName+"已經註冊完畢");
}
/**
* @Description 模擬實際的業務操做
* @Author 劉俊重
* @Date 2017/12/13
*/
public void handelBusiness(String hostname) throws Exception {
System.out.println("服務器："+hostname+"正在處理業務。。。");
Thread.sleep(Long.MAX_VALUE);
}
public static void main(String[] args) throws Exception {
DistributeServer server = new DistributeServer();
server.getConnect();
server.registerServer(args[0]);
server.handelBusiness(args[0]);
}
}
複製代碼
客戶端代碼以下：dom
/**
* @author 劉俊重
* @Description 模擬客戶端，拉取最新服務器節點列表並向zookeeper設置監聽
*/
public class DistributeClient {
private static final String CONNECT_URL = "mini1:2181,mini2:2181,mini3:2181";
private static final int SESSION_TIME_OUT = 2000;
private static final String PARENT_NODE = "/servers";
private ZooKeeper zkCli = null;
private volatile List<String> serverList = null;
/**
* @Description 獲取鏈接
* @Author 劉俊重
* @Date 2017/12/13
*/
public void getConnect() throws Exception{
zkCli = new ZooKeeper(CONNECT_URL, SESSION_TIME_OUT, new Watcher() {
@Override
public void process(WatchedEvent event) {
// 收到事件通知後的回調函數（應該是咱們本身的事件處理邏輯）
System.out.println(event.getType()+"-----------"+event.getPath());
try{
//從新更新服務器列表，而且註冊了監聽
getServerList();
}catch (Exception e){
}
}
});
}
/**
* @Description 獲取服務器子節點信息，並對父節點進行監聽
* @Author 劉俊重
*/
public void getServerList() throws Exception {
List<String> children = zkCli.getChildren(PARENT_NODE, true);
List<String> servers = new ArrayList<String>();
for(String child : children){
// child只是子節點的節點名
byte[] data = zkCli.getData(PARENT_NODE + "/" + child, false, null);
servers.add(new String(data));
}
//把servers賦值給成員變量serverList，以提供給各業務線程使用
serverList = servers;
System.out.println("節點數據："+serverList);
}
/**
* @Description 模擬實際的業務操做
* @Author 劉俊重
* @Date 2017/12/13
*/
public void handelBusiness() throws Exception {
System.out.println("客戶端開始工做。。。");
Thread.sleep(Long.MAX_VALUE);
}
public static void main(String[] args) throws Exception {
DistributeClient client = new DistributeClient();
client.getConnect();
client.getServerList();
client.handelBusiness();
}
}
複製代碼
5.2場景二：分佈式鎖實現
假設如今集羣中有50臺機器對某臺機器上的同一文件進行修改，如何才能保證這個文件不會被寫亂呢，使用java中的synchronized鎖確定是不行的，由於這個鎖是對某個程序而言的，而咱們這根本就不是在一個服務器上，怎麼會鎖的住，用zookeeper實現的分佈式鎖能夠實現。 設計思路：服務器啓動時都去zookeeper上註冊一個「短暫+序號」的znode節點（如/lock/1;/lock/2），並設置監聽父節點變化；獲取到父節點下全部子節點，並比較序號的大小；約定好比序號最小的獲取鎖，去操做某一文件，操做完成後刪除本身的節點（至關於釋放鎖），並註冊一個新的「短暫+序號」的znode節點；其它程序收到zookeeper發送的節點變化的通知以後，去比較序號的大小，看誰得到新鎖。
public class DistributedClientLock {
// 會話超時
private static final int SESSION_TIMEOUT = 2000;
// zookeeper集羣地址
private String hosts = "mini1:2181,mini2:2181,mini3:2181";
private String groupNode = "locks";
private String subNode = "sub";
private boolean haveLock = false;
private ZooKeeper zk;
// 記錄本身建立的子節點路徑
private volatile String thisPath;
/**
* 鏈接zookeeper
*/
public void connectZookeeper() throws Exception {
zk = new ZooKeeper(hosts, SESSION_TIMEOUT, new Watcher() {
@Override
public void process(WatchedEvent event) {
try {
// 判斷事件類型，此處只處理子節點變化事件
if (event.getType() == EventType.NodeChildrenChanged && event.getPath().equals("/" + groupNode)) {
//獲取子節點，並對父節點進行監聽
List<String> childrenNodes = zk.getChildren("/" + groupNode, true);
String thisNode = thisPath.substring(("/" + groupNode + "/").length());
// 去比較是否本身是最小id
Collections.sort(childrenNodes);
if (childrenNodes.indexOf(thisNode) == 0) {
//訪問共享資源處理業務，而且在處理完成以後刪除鎖
doSomething();
//從新註冊一把新的鎖
thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
CreateMode.EPHEMERAL_SEQUENTIAL);
}
}
} catch (Exception e) {
e.printStackTrace();
}
}
});
// 一、程序一進來就先註冊一把鎖到zk上
thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
CreateMode.EPHEMERAL_SEQUENTIAL);
// wait一小會，便於觀察
Thread.sleep(new Random().nextInt(1000));
// 從zk的鎖父目錄下，獲取全部子節點，而且註冊對父節點的監聽
List<String> childrenNodes = zk.getChildren("/" + groupNode, true);
//若是爭搶資源的程序就只有本身，則能夠直接去訪問共享資源
if (childrenNodes.size() == 1) {
doSomething();
thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
CreateMode.EPHEMERAL_SEQUENTIAL);
}
}
/**
* 處理業務邏輯，而且在最後釋放鎖
*/
private void doSomething() throws Exception {
try {
System.out.println("gain lock: " + thisPath);
Thread.sleep(2000);
} finally {
System.out.println("finished: " + thisPath);
//釋放鎖
zk.delete(this.thisPath, -1);
}
}
public static void main(String[] args) throws Exception {
DistributedClientLock dl = new DistributedClientLock();
dl.connectZookeeper();
Thread.sleep(Long.MAX_VALUE);
}
}
複製代碼
參考文檔：http://www.cnblogs.com/likehua/tag/zookeeper/
6 zookeeper的選舉機制
6.1全新集羣paxos
以一個簡單的例子來講明整個選舉的過程. 假設有五臺服務器組成的zookeeper集羣,它們的id從1-5,同時它們都是最新啓動的,也就是沒有歷史數據,在存放數據量這一點上,都是同樣的.假設這些服務器依序啓動,來看看會發生什麼.
- 服務器1啓動,此時只有它一臺服務器啓動了,它發出去的報沒有任何響應,因此它的選舉狀態一直是LOOKING狀態
- 服務器2啓動,它與最開始啓動的服務器1進行通訊,互相交換本身的選舉結果,因爲二者都沒有歷史數據,因此id值較大的服務器2勝出,可是因爲沒有達到超過半數以上的服務器都贊成選舉它(這個例子中的半數以上是3),因此服務器1,2仍是繼續保持LOOKING狀態.
- 服務器3啓動,根據前面的理論分析,服務器3成爲服務器1,2,3中的老大,而與上面不一樣的是,此時有三臺服務器選舉了它,因此它成爲了此次選舉的leader.
- 服務器4啓動,根據前面的分析,理論上服務器4應該是服務器1,2,3,4中最大的,可是因爲前面已經有半數以上的服務器選舉了服務器3,因此它只能接收當小弟的命了.
- 服務器5啓動,同4同樣,當小弟.
6.2非全新集羣的選舉機制(數據恢復)
那麼，初始化的時候，是按照上述的說明進行選舉的，可是當zookeeper運行了一段時間以後，有機器down掉，從新選舉時，選舉過程就相對複雜了。 須要加入數據id、leader id和邏輯時鐘。 數據id：數據新的id就大，數據每次更新都會更新id。 Leader id：就是咱們配置的myid中的值，每一個機器一個。 邏輯時鐘：這個值從0開始遞增,每次選舉對應一個值,也就是說: 若是在同一次選舉中,那麼這個值應該是一致的 ; 邏輯時鐘值越大,說明這一次選舉leader的進程更新. 選舉的標準就變成： 一、邏輯時鐘小的選舉結果被忽略，從新投票 二、統一邏輯時鐘後，數據id大的勝出 三、數據id相同的狀況下，leader id大的勝出 根據這個規則選出leader。
相關文章
- 1. 分佈式協調服務-Zookeeper
- 2. 分佈式協調服務之zookeeper（一）
- 3. ZooKeeper:分佈式協調應用服務
- 4. 分佈式協調服務-zookeeper
- 5. Zookeeper分佈式服務協調組件
- 6. Zookeeper-分佈式協調服務
- 7. 分佈式協調服務---Zookeeper
- 8. 【架構】分佈式協調服務-zookeeper
- 9. 分佈式應用協調服務Zookeeper
- 10. Zookeeper 分佈式協調服務介紹
- 更多相關文章...
- • 啓動MySQL服務 - MySQL教程
- • Redis發佈訂閱模式 - Redis教程
- • 再有人問你分佈式事務，把這篇扔給他
- • 常用的分佈式事務解決方案
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. 「插件」Runner更新Pro版，幫助設計師遠離996
- 2. 錯誤 707 Could not load file or assembly ‘Newtonsoft.Json, Version=12.0.0.0, Culture=neutral, PublicKe
- 3. Jenkins 2018 報告速覽，Kubernetes使用率躍升235%！
- 4. TVI-Android技術篇之註解Annotation
- 5. android studio啓動項目
- 6. Android的ADIL
- 7. Android卡頓的檢測及優化方法彙總（線下+線上）
- 8. 登錄註冊的業務邏輯流程梳理
- 9. NDK(1)創建自己的C/C++文件
- 10. 小菜的系統框架界面設計-你的評估是我的決策
歡迎關注本站公眾號,獲取更多信息
