Yarn一點小認識

正文

　　打開官網http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-site/YARN.html，將圖片拿過來。

　　

　　我用的是2.6.5的hadoop，2.x的yarn已經進行了升級。首相映入眼簾的是Resource Manager,咱們在start-yarn.sh以後jps也能夠看到咱們的Resource服務。官網介紹了，Resource Manager是有兩個組件組成的。The ResourceManager has two main components: Scheduler and ApplicationsManager.

　　rm接收到MR程序也就是咱們的Client，回去尋找一個合適得節點去建立MRAppMaster。RM主要就是去管理nodemanager和這些MRAppMaster。從圖能夠看出來，每一個node節點都有一個AppMstr， 而AppMaster的任務就是去建立須要多少個maptask，reducetask；AppMaster須要去解析MR程序，解析完畢後去RM申請資源，那麼咱們的資源就是圖上的Container，Container就是要執行一個Task，一個node中會有多個Container也就是多個任務。

　　Scheduler 的任務就是分配資源的應用程序，而ApplicationsManager負責提交任務的給哪一個容器，若是失敗會去重啓服務。若是哪一個node節點出現故障則不會影響到總體的節點。而1.x是有JobTracer來建立TaskTracer，全部的解析，監督，資源都是有JobTracer一人來幹，若是哪一個node出現問題，則會致使總體崩潰。

　　簡單的理解一下，解釋的不是很詳盡請多見諒，原本跟你們一塊兒學習的態度，但願你們一塊兒交流，但願大牛多多指點。

　　　　　　　　　　i  want  to do something,i know i can do