如何在CDH中配置YARN動態資源池的計劃規則

 

1.文檔編寫目的markdown


在CDH中使用Yarn的動態資源池,用戶會根據時段來區分集羣資源的分配狀況(如:在夜晚時段集羣資源主要傾向於跑批做業,白天時段集羣資源主要傾向於業務部門實時計算做業)。針對這樣的需求在CDH中如何配置?本篇文章Fayson主要介紹如何經過CM配置Yarn動態資源池的計劃規則。測試

  • 內容概述

1.建立資源池配置集3d

2.修改各配置集資源分配及驗證blog

3.總結資源

  • 測試環境

1.CM和CDH版本爲5.15文檔

2.建立資源池配置集it


在CDH集羣中默認只有一個資源池的配置集,接下來Fayson經過CM建立多個資源池配置集,在本示例中Fayson共建立3個配置集class

  • 晚上9點到早上9點使用pool_nigth資源池配置集
  • 早上9點到晚上6點使用pool_day資源池配置集
  • 其它時間段使用default資源池配置集

1.登陸CM進入動態資源池管理界面集羣

2.點擊「計劃模式」進入配置界面登錄

3.點擊「建立計劃規則」,建立兩個新的配置集

建立新的配置集時須要從一個現有的配置集進行復制,能夠選擇配置集重複週期「天天、每週、每個月」,重複時間以小時爲單位進行選擇。

4.配置集建立完成列表以下

以上步驟只是完成了多個不通時間段使用的配置集。

3.修改各配置集資源分配


1.進入資源池配置主界面

2.將default的配置集root.default和root.users資源池佔比修改50%和50%

3.選擇pool_nigth資源池,將root.defaut和root.users資源池佔比修改成80%和20%

4.選擇pool_day資源池,將root.default和root.users資源池佔比修改成20%和80%

5.修改完成各個配置集資源池配置後,點擊「刷新動態資源池

如上步驟完成各個配置集資源池的配置。

4.驗證配置集是否生效


根據資源池配置集的配置規則,當前時間爲晚上10點,此時應該使用的資源池爲pool_nigth配置集。

1.登陸Yarn的8088界面查看資源池的佔比

2.點擊Scheduler查看資源池的佔比狀況

能夠看到root.default的資源池是root.users資源池佔比的4倍,與配置集的計劃規則一致。

5.總結


1.經過CM的動態資源池配置,能夠方便的建立多個配置集。

2.根據不一樣時段對資源池的使用進行從新分配,動態的調整不須要手動觸發。

相關文章
相關標籤/搜索