YARN整理

YARN整理

1.YARN的介紹

• 是一個資源管理.任務調度的框架,主要包含三大模塊:

  • ResourceManager(RM):負責全部資源的監控.分配和管理

  • ApplicationMaster(AM):負責每個應用程序的調度和協調

  • NodeManager(NM):負責每個節點維護

• 對於全部的applications,RM擁有絕對的控制權和資源的分配權.而每個AM則會和RM協商資源.同時和NodeManager通訊來執行和監控task.

2.YARN三大組件介紹

• ResourceManager

1. ResourceManager 負責整個集羣的資源管理和分配，是一個全局的資源管理系統。

2. NodeManager 以心跳的方式向 ResourceManager 彙報資源使用狀況（目前主要是 CPU 和內存的使用狀況）。RM 只接受 NM 的資源回報信息，對於具體的資源處理則交給 NM 本身處理

3. YARN Scheduler(調度器) 根據 application 的請求爲其分配資源，不負責 application job 的監控、追蹤、運行狀態反饋、啓動等工做。

• NodeManager

1. NodeManager 是每一個節點上的資源和任務管理器，它是管理這臺機器的代理，負責該節點程序的運行，以及該節點資源的管理和監控。YARN 集羣每一個節點都運行一個NodeManager。

2. NodeManager 定時向 ResourceManager 彙報本節點資源（CPU、內存）的使用狀況和Container 的運行狀態。當 ResourceManager 宕機時 NodeManager 自動鏈接 RM 備用節點。

3. NodeManager 接收並處理來自 ApplicationMaster 的 Container 啓動、中止等各類請求.

• ApplicationMaster

1. 用 戶 提 交 的 每 個 應 用 程 序 均 包 含 一 個 ApplicationMaster ， 它 可 以 運 行 在ResourceManager 之外的機器上。

2. 負責與 RM 調度器協商以獲取資源（用 Container 表示）。

3. 將獲得的任務進一步分配給內部的任務(資源的二次分配)。

4. 與 NM 通訊以啓動/中止任務。

5. 監控全部任務運行狀態，並在任務運行失敗時從新爲任務申請資源以重啓任務。

6. 當前 YARN 自帶了兩個 ApplicationMaster 實現，一個是用於演示 AM 編寫方法的實例程序 DistributedShell，它能夠申請必定數目的 Container 以並行運行一個 Shell 命令或者 Shell 腳本；另外一個是運行 MapReduce 應用程序的 AM—MRAppMaster。

• RM 只負責監控 AM，並在 AM 運行失敗時候啓動它。RM 不負責 AM 內部任務的容錯，任務的容錯由 AM 完成。

3.YARN運行流程

• Client實際上是一個類YARNRunner請求提交job申請資源運算

• RM判斷是否符合申請規範,分配jopid,給你一個路徑job提交資源的路徑mapred-default.xml:yarn.app.mapreduce.am.staging-dir:/tmp/hadoop-yarn/staging返回給客戶端

• 客戶端把job.submit:.jar程序,切片規劃job.split,默認配置job.xml這些資源提交指定的路徑,申請資源運行本次job的applicationMaster(MrAppMaster)

• RM結合NMs的彙報集羣資源信息,以容器的形式Container,把資源給客戶端,找一個NM啓動容器,把容器所在的ip給客戶端

• 客戶端到指定的容啓動MrAppMater,而且要像RM註冊本身,而且保持通訊

• MrAppMaster根據切片規則,得知本次job的MapTask數量,好比有三個,x向RM申請三個容器來運行

• RM接收請求,根據NMs彙報集羣資源使用狀況,找出機器啓動3個容器,把3個容器所在的ip信息返回給AppMaster

• MrAppMaster拿到容器的位置到容器上啓動本次job的第一個階段任務MapTask,而且追蹤task的執行狀況,向RM彙報,資源使用好了.你能夠回收了

• 當MapTask運行完畢,MrAppMaster結合程序是否須要申請下一階段所需容器

• 當全部的task運行結束,MrAppMaster向RM申請把本身註銷了.

4.YARN調度器Scheduler

理想的狀況下,咱們應用Yarn資源的請求應該馬上獲得知足,但現實狀況資源每每是有限的,特別是在一個很繁忙的集羣,一個應用資源的請求常常須要等待一段時間才能獲得相應的資源.在Yarn中,負責給應用分配資源的是Scheduler,其實調度自己就是一個難題,很難找到一個完美的策略,爲此,Yarn提供了多種調度器和 可配置的策略供咱們選擇.

在Yarn中有三種調度器能夠選擇:FIFO Scheduler,Capacity Scheduler(默認調度器),Fair Scheduler.

1.FIFO Scheduler

• FIFO Scheduler 把應用按照提交的順序排成一個隊列,這個是先進先出隊列,在進行資源分配的時候,先給隊列中最頭上的應用進行分配資源,待最頭上的應用需求知足後再給下一個分配,以此類推

• FIFO Scheduler 是最簡單也是最容易理解的調度器，也不須要任何配置，但它並不適用於共享集羣。大的應用可能會佔用全部集羣資源，這就致使其它應用被阻塞。在共享集羣中，更適合採用 Capacity Scheduler 或 Fair Scheduler，這兩個調度器都容許大任務和小任務在提交的同時得到必定的系統資源。

2.Capacity Scheduler(默認調度器)

• Capacity 調度器容許多個組織共享整個集羣，每一個組織能夠得到集羣的一部分計算能力。經過爲每一個組織分配專門的隊列，而後再爲每一個隊列分配必定的集羣資源，這樣整個集羣就能夠經過設置多個隊列的方式給多個組織提供服務了。除此以外，隊列內部又能夠垂直劃分，這樣一個組織內部的多個成員就能夠共享這個隊列資源了，在一個隊列內部，資源的調度是採用的是先進先出(FIFO)策略。

• 就是把整個集羣資源分爲n個隊列,好比分爲2個隊列,一個大的隊列和一個小的隊列比例是8:2.比較大的應用走大的隊列,小的隊列走小的隊列,可是隊列內部仍是用的FIFO,其實這樣來一個比較大的應用仍是阻塞,若是來的全是小應用都走小的隊列,大隊列就空了.資源就浪費了.

3.Fair Scheduler

• 在 Fair 調度器中，咱們不須要預先佔用必定的系統資源，Fair 調度器會爲全部運行的job 動態的調整系統資源。以下圖所示，當第一個大 job 提交時，只有這一個 job 在運行，此時它得到了全部集羣資源；當第二個小任務提交後，Fair 調度器會分配一半資源給這個小任務，讓這兩個任務公平的共享集羣資源。

• 須要注意的是，在下圖 Fair 調度器中，從第二個任務提交到得到資源會有必定的延遲，由於它須要等待第一個任務釋放佔用的 Container。小任務執行完成以後也會釋放自己佔用的資源，大任務又得到了所有的系統資源。最終效果就是 Fair 調度器即獲得了高的資源利用率又能保證小任務及時完成。