YARN

                   YARN   node

 Hadoop三大核心 app

      mapreduce負責分佈式計算分佈式

      HDFS : 負責分佈式文件管理,副本機制,機架策略(須要讓Hadoop感知交換機)讀流長,寫流程,日誌文件和鏡像文件  主從模式單點故障模式 oop

      YARN : 負責分佈式資源管理
        1.客戶端攜帶的jar就去找ResourceManage計算請求
      2.ResourceManage須要一個container去啓動app master
      3.master啓動拿到jar程序進行評估,
      4.master向namenode請求文件的位置
      5.namenode根據最近原則和datanode忙於不忙的狀況,將計劃交給master
      6.master根據DataNode的所在位置,定製計劃須要多少cpu等
      7.master將具體計劃提交給rm
      8.rm贊成 將資源包含成 交給container
        不一樣意 回到第四步直到贊成
      9. 跑程序 跑完通知resourceMange
      10.將結果寫在hdfs上,而且master死亡spa

    

相關文章
相關標籤/搜索
本站公眾號
   歡迎關注本站公眾號,獲取更多信息