zookeeper應用場景（轉）

轉載自：http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3113923.html

Zookeeper是hadoop的一個子項目，雖然源自hadoop，可是我發現zookeeper脫離hadoop的範疇開發分佈式框架的運用 愈來愈多。今天我想談談zookeeper，本文不談如何使用zookeeper，而是zookeeper到底有哪些實際的運用，哪些類型的應用能發揮 zookeeper的優點，最後談談zookeeper對分佈式網站架構能產生怎樣的做用。

　　Zookeeper是針對大型分佈式系統的高可靠的協調系統。由這個定義咱們知道zookeeper是個協調系統，做用的對象是分佈式系統。爲何分佈式系統須要一個協調系統了？理由以下：

　　開發分佈式系統是件很困難的事情，其中的困難主要體如今分佈式系統的「部分失敗」。「部分失敗」是指信息在網絡的兩個節點之間傳送時候，若是網 絡出了故障，發送者沒法知道接收者是否收到了這個信息，並且這種故障的緣由很複雜，接收者可能在出現網絡錯誤以前已經收到了信息，也可能沒有收到，又或接 收者的進程死掉了。發送者可以得到真實狀況的惟一辦法就是從新鏈接到接收者，詢問接收者錯誤的緣由，這就是分佈式系統開發裏的「部分失敗」問題。

　　Zookeeper就是解決分佈式系統「部分失敗」的框架。Zookeeper不是讓分佈式系統避免「部分失敗」問題，而是讓分佈式系統當碰到部分失敗時候，能夠正確的處理此類的問題，讓分佈式系統能正常的運行。

　　下面我要講講zookeeper的實際運用場景：

　　場景一：有一組服務器向客戶端提供某種服務（例如：我前面作的分佈式網站的服務端，就是由四臺服務器組成的 集羣，向前端集羣提供服務），咱們但願客戶端每次請求服務端均可以找到服務端集羣中某一臺服務器，這樣服務端就能夠向客戶端提供客戶端所需的服務。對於這 種場景，咱們的程序中必定有一份這組服務器的列表，每次客戶端請求時候，都是從這份列表裏讀取這份服務器列表。那麼這分列表顯然不能存儲在一臺單節點的服 務器上，不然這個節點掛掉了，整個集羣都會發生故障，咱們但願這份列表時高可用的。高可用的解決方案是：這份列表是分佈式存儲的，它是由存儲這份列表的服 務器共同管理的，若是存儲列表裏的某臺服務器壞掉了，其餘服務器立刻能夠替代壞掉的服務器，而且能夠把壞掉的服務器從列表裏刪除掉，讓故障服務器退出整個 集羣的運行，而這一切的操做又不會由故障的服務器來操做，而是集羣里正常的服務器來完成。這是一種主動的分佈式數據結構，可以在外部狀況發生變化時候主動 修改數據項狀態的數據機構。Zookeeper框架提供了這種服務。這種服務名字就是：統一命名服務，它和javaEE裏的JNDI服務很像。

　　場景二：分佈式鎖服務。當分佈式系統操做數據，例如：讀取數據、分析數據、最後修改數據。在分佈式系統裏這 些操做可能會分散到集羣裏不一樣的節點上，那麼這時候就存在數據操做過程當中一致性的問題，若是不一致，咱們將會獲得一個錯誤的運算結果，在單一進程的程序 裏，一致性的問題很好解決，可是到了分佈式系統就比較困難，由於分佈式系統裏不一樣服務器的運算都是在獨立的進程裏，運算的中間結果和過程還要經過網絡進行 傳遞，那麼想作到數據操做一致性要困難的多。Zookeeper提供了一個鎖服務解決了這樣的問題，能讓咱們在作分佈式數據運算時候，保證數據操做的一致 性。

　　場景三：配置管理。在分佈式系統裏，咱們會把一個服務應用分別部署到n臺服務器上，這些服務器的配置文件是 相同的（例如：我設計的分佈式網站框架裏，服務端就有4臺服務器，4臺服務器上的程序都是同樣，配置文件都是同樣），若是配置文件的配置選項發生變化，那 麼咱們就得一個個去改這些配置文件，若是咱們須要改的服務器比較少，這些操做還不是太麻煩，若是咱們分佈式的服務器特別多，好比某些大型互聯網公司的 hadoop集羣有數千臺服務器，那麼更改配置選項就是一件麻煩並且危險的事情。這時候zookeeper就能夠派上用場了，咱們能夠把 zookeeper當成一個高可用的配置存儲器，把這樣的事情交給zookeeper進行管理，咱們將集羣的配置文件拷貝到zookeeper的文件系統 的某個節點上，而後用zookeeper監控全部分佈式系統裏配置文件的狀態，一旦發現有配置文件發生了變化，每臺服務器都會收到zookeeper的通 知，讓每臺服務器同步zookeeper裏的配置文件，zookeeper服務也會保證同步操做原子性，確保每一個服務器的配置文件都能被正確的更新。

　　場景四：爲分佈式系統提供故障修復的功能。集羣管理是很困難的，在分佈式系統里加入了zookeeper服 務，能讓咱們很容易的對集羣進行管理。集羣管理最麻煩的事情就是節點故障管理，zookeeper可讓集羣選出一個健康的節點做爲 master，master節點會知道當前集羣的每臺服務器的運行情況，一旦某個節點發生故障，master會把這個狀況通知給集羣其餘服務器，從而從新 分配不一樣節點的計算任務。Zookeeper不只能夠發現故障，也會對有故障的服務器進行甄別，看故障服務器是什麼樣的故障，若是該故障能夠修 復，zookeeper能夠自動修復或者告訴系統管理員錯誤的緣由讓管理員迅速定位問題，修復節點的故障。你們也許還會有個疑問，master故障了，那 怎麼辦了？zookeeper也考慮到了這點，zookeeper內部有一個「選舉領導者的算法」，master能夠動態選擇，當master故障時 候，zookeeper能立刻選出新的master對集羣進行管理。

　　下面我要講講zookeeper的特色：

1. zookeeper是一個精簡的文件系統。這點它和hadoop有點像，可是zookeeper這個文件系統是管理小文件的，而hadoop是管理超大文件的。
2. zookeeper提供了豐富的「構件」，這些構件能夠實現不少協調數據結構和協議的操做。例如：分佈式隊列、分佈式鎖以及一組同級節點的「領導者選舉」算法。
3. zookeeper是高可用的，它自己的穩定性是至關之好，分佈式集羣徹底能夠依賴zookeeper集羣的管理，利用zookeeper避免分佈式系統的單點故障的問題。
4. zookeeper採用了鬆耦合的交互模式。這點在zookeeper提供分佈式鎖上表現最爲明顯，zookeeper能夠被用做一個約會機制， 讓參入的進程不在了解其餘進程的（或網絡）的狀況下可以彼此發現並進行交互，參入的各方甚至沒必要同時存在，只要在zookeeper留下一條消息，在該進 程結束後，另一個進程還能夠讀取這條信息，從而解耦了各個節點之間的關係。
5. zookeeper爲集羣提供了一個共享存儲庫，集羣能夠從這裏集中讀寫共享的信息，避免了每一個節點的共享操做編程，減輕了分佈式系統的開發難度。
6. zookeeper的設計採用的是觀察者的設計模式，zookeeper主要是負責存儲和管理你們關心的數據，而後接受觀察者的註冊，一旦這些數 據的狀態發生變化，Zookeeper 就將負責通知已經在 Zookeeper 上註冊的那些觀察者作出相應的反應，從而實現集羣中相似 Master/Slave 管理模式。

　　因而可知zookeeper很利於分佈式系統開發，它能讓分佈式系統更加健壯和高效。

　　前不久我參加了部門的hadoop興趣小組，測試環境的hadoop、mapreduce、hive及hbase都是我來安裝的，安裝 hbase時候安裝要預先安裝zookeeper，最先我是在四臺服務器上都安裝了zookeeper，可是同事說安裝四臺和安裝三臺是一回事，這是由於 zookeeper要求半數以上的機器可用，zookeeper才能提供服務，因此3臺的半數以上就是2臺了，4臺的半數以上也是兩臺，所以裝了三臺服務 器徹底能夠達到4臺服務器的效果，這個問題說明zookeeper進行安裝的時候一般選擇奇數臺服務器。在學習hadoop的過程當中，我感受 zookeeper是最難理解的一個子項目，緣由倒不是它技術負責，而是它的應用方向很讓我困惑，因此我有關hadoop技術第一篇文章就從 zookeeper開始，也不講具體技術實現，而從zookeeper的應用場景講起，理解了zookeeper應用的領域，我想再學習 zookeeper就會更加事半功倍。

　　之因此今天要談談zookeeper，也是爲我上一篇文章分佈式網站框架的補充。雖然我設計網站架構是分佈式結構，也作了簡單的故障處理機制， 好比：心跳機制，可是對集羣的單點故障仍是沒有辦法的，若是某一臺服務器壞掉了，客戶端任然會嘗試鏈接這個服務器，致使部分請求的阻塞，也會致使服務器資 源的浪費。不過我目前也不想去修改本身的框架，由於我總以爲在現有的服務上添加zookeeper服務會影響網站的效率，若是有獨立的服務器集羣部署 zookeeper仍是值得考慮的，可是服務器資源太寶貴了，這個可能性不大。幸虧咱們部門也發現了這樣的問題，咱們部門將開發一個強大的遠程調用框架， 將集羣管理和通信管理這塊剝離出來，集中式提供高效可用的服務，等部門的遠程框架開發完畢，咱們的網站加入新的服務，我想咱們的網站將會更加穩定和高效。