C# Hadoop學習筆記（二）—架構原理

一，架構

 

 

2、名詞解釋

    （一）NameNode（簡稱NN），Hadoop的主節點，負責偵聽節點是否活躍，對外開放接口等。在將來的大數據處理過程當中，因爲訪問量和節點數量的不斷增多，須要該節點的處理能力較高，所以從集羣搭建的角度，建議該節點的CPU配置較高。

    （二）SecondNameNode（SNN），Hadoop高可用的備份節點，主要用途是主節點宕機或者不可用的狀況下，自行切換到備用節點。

               身份決定了該節點須要同步NN的信息，所以採用心跳的方式從NN發現數據，並同步到自身。因爲不可預知的本機硬件問題或網絡緣由及災害，SNN須要部署在遠離NN的物理空間內，通常配置是將該節點放在不一樣的機架、機房、樓層、樓房、或者更遠，以確保高可用。

     （三）JobTracker（JT），負責任務的併發及調度處理。所以須要該節點可以擁有較高的CPU（低於NN），較高的內存。

     （四）DataNode（DN），分佈式的各個子節點，真正存儲NDFS文件的節點，負責接受Hadoop的計算任務，經過TaskTacker執行並行任務，啓動MapReduce進行數據處理。

              身份決定該節點須要存儲大量的文件，並且因爲冗餘備份（Hadoop缺省配置3份），防止節點宕機致使的計算不許確問題。該節點須要很是大的磁盤空間承載文件。

 3、試驗集羣部署結構

 

 

 

4、生產環境部署結構