大型應用一般會按業務拆分紅一個個業務子系統,這些大大小小的子應用,每每會使用一些公用的資源,好比:須要文件上傳、下載時,各子應用都會訪問公用的Ftp服務器。若是把Ftp Server的鏈接IP、端口號、用戶名、密碼等信息,配置在各子應用中,而後這些子應用再部署到服務器集羣中的N臺Server上,忽然有一天,Ftp服務器要換IP或端口號,那麼問題來了?沒關係張,不是問 挖掘機哪家強:),而是如何快速的把這一堆已經在線上運行的子應用,統統換掉相應的配置,並且還不能停機。java
要解決這個問題,首先要從思路上作些改變:node
一、公用配置不該該分散存放到各應用中,而是應該抽出來,統一存儲到一個公用的位置(最容易想到的辦法,放在db中,或統一的分佈式cache server中,好比Redis,或其它相似的統一存儲,好比ZooKeeper中)web
二、對這些公用配置的添加、修改,應該有一個統一的配置管理中心應用來處理(這個也好辦,作一個web應用來對這些配置作增、刪、改、查便可)redis
三、當公用配置變化時,子應用不須要從新部署(或從新啓動),就能使用新的配置參數(比較容易想到的辦法有二個:一是發佈/訂閱模式,子應用主動訂閱公用配置的變化狀況,二是子應用每次須要取配置時,都實時去取最新配置)數據庫
因爲配置信息一般不大,比較適合存放在ZooKeeper的Node中。主要處理邏輯的序列圖以下:緩存
解釋一下:服務器
考慮到全部存儲系統中,數據庫仍是比較成熟可靠的,因此這些配置信息,最終在db中存儲一份。分佈式
剛開始時,配置管理中心從db中加載公用配置信息,而後同步寫入ZK中,而後各子應用從ZK中讀取配置,並監聽配置的變化(這在ZK中經過Watcher很容易實現)。ide
若是配置要修改,一樣也先在配置管理中心中修改,而後持久化到DB,接下來同步更新到ZK,因爲各子應用會監聽數據變化,因此ZK中的配置變化,會實時傳遞到子應用中,子應用固然也無需重啓。工具
示例代碼:
這裏設計了幾個類,以模擬文中開頭的場景:
FtpConfig對應FTP Server的公用配置信息,
ConfigManager對應【統一配置中心應用】,裏面提供了幾個示例方法,包括:從db加載配置,修改db中的配置,將配置同步到ZK
ClientApp對應子系統,一樣也提供了幾個示例方法,包括獲取ZK的配置,文件上傳,文件下載,業務方法執行
ConfigTest是單元測試文件,用於集成測試剛纔這些類
爲了方便,還有一個ZKUtil的小工具類
package yjmyzz.test; import org.I0Itec.zkclient.ZkClient; public class ZKUtil { public static final String FTP_CONFIG_NODE_NAME = "/config/ftp"; public static ZkClient getZkClient() { return new ZkClient("localhost:2181,localhost:2182,localhost:2183"); } }
FtpConfig代碼以下:
package yjmyzz.test; import java.io.Serializable; /** * Created by jimmy on 15/6/27. */ public class FtpConfig implements Serializable { /** * 端口號 */ private int port; /** * ftp主機名或IP */ private String host; /** * 鏈接用戶名 */ private String user; /** * 鏈接密碼 */ private String password; public FtpConfig() { } public FtpConfig(int port, String host, String user, String password) { this.port = port; this.host = host; this.user = user; this.password = password; } public int getPort() { return port; } public void setPort(int port) { this.port = port; } public String getHost() { return host; } public void setHost(String host) { this.host = host; } public String getUser() { return user; } public void setUser(String user) { this.user = user; } public String getPassword() { return password; } public void setPassword(String password) { this.password = password; } public String toString() { return user + "/" + password + "@" + host + ":" + port; } }
ConfigManager代碼以下:
package yjmyzz.test; import com.fasterxml.jackson.core.JsonProcessingException; import org.I0Itec.zkclient.ZkClient; public class ConfigManager { private FtpConfig ftpConfig; /** * 模擬從db加載初始配置 */ public void loadConfigFromDB() { //query config from database //TODO... ftpConfig = new FtpConfig(21, "192.168.1.1", "test", "123456"); } /** * 模擬更新DB中的配置 * * @param port * @param host * @param user * @param password */ public void updateFtpConfigToDB(int port, String host, String user, String password) { if (ftpConfig == null) { ftpConfig = new FtpConfig(); } ftpConfig.setPort(port); ftpConfig.setHost(host); ftpConfig.setUser(user); ftpConfig.setPassword(password); //write to db... //TODO... } /** * 將配置同步到ZK */ public void syncFtpConfigToZk() throws JsonProcessingException { ZkClient zk = ZKUtil.getZkClient(); if (!zk.exists(ZKUtil.FTP_CONFIG_NODE_NAME)) { zk.createPersistent(ZKUtil.FTP_CONFIG_NODE_NAME, true); } zk.writeData(ZKUtil.FTP_CONFIG_NODE_NAME, ftpConfig); zk.close(); } }
ClientApp類以下:
package yjmyzz.test; import org.I0Itec.zkclient.IZkDataListener; import org.I0Itec.zkclient.ZkClient; import java.util.concurrent.TimeUnit; public class ClientApp { FtpConfig ftpConfig; private FtpConfig getFtpConfig() { if (ftpConfig == null) { //首次獲取時,鏈接zk取得配置,並監聽配置變化 ZkClient zk = ZKUtil.getZkClient(); ftpConfig = (FtpConfig) zk.readData(ZKUtil.FTP_CONFIG_NODE_NAME); System.out.println("ftpConfig => " + ftpConfig); zk.subscribeDataChanges(ZKUtil.FTP_CONFIG_NODE_NAME, new IZkDataListener() { @Override public void handleDataChange(String s, Object o) throws Exception { System.out.println("ftpConfig is changed !"); System.out.println("node:" + s); System.out.println("o:" + o.toString()); ftpConfig = (FtpConfig) o;//從新加載FtpConfig } @Override public void handleDataDeleted(String s) throws Exception { System.out.println("ftpConfig is deleted !"); System.out.println("node:" + s); ftpConfig = null; } }); } return ftpConfig; } /** * 模擬程序運行 * * @throws InterruptedException */ public void run() throws InterruptedException { getFtpConfig(); upload(); download(); } public void upload() throws InterruptedException { System.out.println("正在上傳文件..."); System.out.println(ftpConfig); TimeUnit.SECONDS.sleep(10); System.out.println("文件上傳完成..."); } public void download() throws InterruptedException { System.out.println("正在下載文件..."); System.out.println(ftpConfig); TimeUnit.SECONDS.sleep(10); System.out.println("文件下載完成..."); } }
最終測試一把:
package yjmyzz.test; import com.fasterxml.jackson.core.JsonProcessingException; import org.junit.Test; /** * Created by jimmy on 15/6/27. */ public class ConfigTest { @Test public void testZkConfig() throws JsonProcessingException, InterruptedException { ConfigManager cfgManager = new ConfigManager(); ClientApp clientApp = new ClientApp(); //模擬【配置管理中心】初始化時,從db加載配置初始參數 cfgManager.loadConfigFromDB(); //而後將配置同步到ZK cfgManager.syncFtpConfigToZk(); //模擬客戶端程序運行 clientApp.run(); //模擬配置修改 cfgManager.updateFtpConfigToDB(23, "10.6.12.34", "newUser", "newPwd"); cfgManager.syncFtpConfigToZk(); //模擬客戶端自動感知配置變化 clientApp.run(); } }
輸出以下:
ftpConfig => test/123456@192.168.1.1:21
正在上傳文件...
test/123456@192.168.1.1:21
文件上傳完成...
正在下載文件...
test/123456@192.168.1.1:21
文件下載完成...
...
正在上傳文件...
test/123456@192.168.1.1:21
ftpConfig is changed !
node:/config/ftp
o:newUser/newPwd@10.6.12.34:23
文件上傳完成...
正在下載文件...
newUser/newPwd@10.6.12.34:23
文件下載完成...
從測試結果看,子應用在不重啓的狀況下,已經自動感知到了配置的變化,皆大歡喜。最後提一句:明白這個思路後,文中的ZK,其實換成Redis也能夠,【統一配置中心】修改配置後,同步到Redis緩存中,而後子應用也不用搞什麼監聽這麼複雜,直接從redis中實時取配置就能夠了。具體用ZK仍是Redis,這個看我的喜愛。