zookeeper應用——集中配置管理系統的實現

1 場景描述

參考http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html，實現本身的集中配置管理系統。

術語：配置管理（Configuration Management）

一個帶配置的服務程序，部署在若干臺機器上，若是配置發生了變化，接下去要進行的操做是中止全部機器上的該程序，修改每一臺機器上該程序對應的配置文件。

這個情景會有兩個問題：第一，機器多了，逐個修改配置是一件不合理的運維；第二，配置通常是程序啓動時讀入的，因此配置修改後，程序應該重啓。

配置管理在某些場合稱「數據發佈與訂閱」，顧名思義就是將數據發佈到zk節點上，供訂閱者動態獲取數據，實現配置信息的集中式管理和動態更新。例如全局的配置信息，地址列表等就很是適合使用。

實際應用環境：

1. 索引信息和集羣中機器節點狀態存放在zk的一些指定節點，供各個客戶端訂閱使用。 2. 系統日誌（通過處理後的）存儲，這些日誌一般2-3天后被清除。 

3. 應用中用到的一些配置信息集中管理，在應用啓動的時候主動來獲取一次，而且在節點上註冊一個Watcher，之後每次配置有更新，實時通知到應用，獲取最新配置信息。

4. 業務邏輯中須要用到的一些全局變量，好比一些消息中間件的消息隊列一般有個offset，這個offset存放在zk上，這樣集羣中每一個發送者都能知道當前的發送進度。

5. 系統中有些信息須要動態獲取，而且還會存在人工手動去修改這個信息。之前一般是暴露出接口，例如JMX接口，有了zk後，只要將這些信息存放到zk節點上便可。

2 需求歸納

a）解決服務程序統一配置的問題；

b）解決服務配置更改的熱加載問題；（熱加載：程序更改配置，不需重啓就能快速響應）

3 技術原理

利用zookeeper的特性（略），將配置信息保存在 Zookeeper 的某個目錄節點中，而後將全部須要修改的應用機器監控配置信息的狀態，一旦配置信息發生變化，每臺應用機器就會收到 Zookeeper 的通知，而後從 Zookeeper 獲取新的配置信息應用到系統中。

a）znode的路徑做爲配置項能作到全局惟一；

b）znode的內容做爲配置項的值，始終存在與內存中，方便讀取；

c）znode的權限做爲項目之間的配置隔離機制，能夠作到項目配置的安全管理；

zookeeper擁有的特性使得配置的存儲、讀取、監聽（watch）等都很好地實現，咱們所須要作的事情——開發一個統一的控制終端以及提供程序讀取配置的接口。

a）集中的Web控制終端：包含配置信息增長、刪除、修改、查詢、部署等等；

b）Java讀取配置項的類和接口；

c）C++讀取配置的類和接口；

4 體系結構

5 配置存儲結構

3 層，存xml文件的字符串。

5 優點

a）配置統一管理，方便運維；

b）服務程序熱加載；

c）配置分佈式存儲，穩定可靠；

6 實現

功能類ConfMng提供載入xml配置文件到zk系統的函數和讀取配置map的函數，並提供一個須要用戶實現的抽象函數

// 解析xml將keyvalue存入Map
 abstract public Map<?, ?> parserXML();

 

用戶程序使用方法以下：

繼承ConfMng類，實現parserXML();接口

讀取配置內容。

 

原則：設計的集中配置管理類，將讀取配置xml的方法開放給用戶，作到配置的通用；竟可能在原程序基礎上作到無縫結合。