C# Hadoop學習筆記(二)—架構原理

一,架構

 

 

2、名詞解釋

    (一)NameNode(簡稱NN),Hadoop的主節點,負責偵聽節點是否活躍,對外開放接口等。在將來的大數據處理過程當中,因爲訪問量和節點數量的不斷增多,須要該節點的處理能力較高,所以從集羣搭建的角度,建議該節點的CPU配置較高。網絡

    (二)SecondNameNode(SNN),Hadoop高可用的備份節點,主要用途是主節點宕機或者不可用的狀況下,自行切換到備用節點。架構

               身份決定了該節點須要同步NN的信息,所以採用心跳的方式從NN發現數據,並同步到自身。因爲不可預知的本機硬件問題或網絡緣由及災害,SNN須要部署在遠離NN的物理空間內,通常配置是將該節點放在不一樣的機架、機房、樓層、樓房、或者更遠,以確保高可用。併發

     (三)JobTracker(JT),負責任務的併發及調度處理。所以須要該節點可以擁有較高的CPU(低於NN),較高的內存。分佈式

     (四)DataNode(DN),分佈式的各個子節點,真正存儲NDFS文件的節點,負責接受Hadoop的計算任務,經過TaskTacker執行並行任務,啓動MapReduce進行數據處理。oop

              身份決定該節點須要存儲大量的文件,並且因爲冗餘備份(Hadoop缺省配置3份),防止節點宕機致使的計算不許確問題。該節點須要很是大的磁盤空間承載文件。大數據

 3、試驗集羣部署結構

 

 

 

4、生產環境部署結構

相關文章
相關標籤/搜索