1.文檔編寫目的markdown
在CDH中使用Yarn的動態資源池,用戶會根據時段來區分集羣資源的分配狀況(如:在夜晚時段集羣資源主要傾向於跑批做業,白天時段集羣資源主要傾向於業務部門實時計算做業)。針對這樣的需求在CDH中如何配置?本篇文章Fayson主要介紹如何經過CM配置Yarn動態資源池的計劃規則。測試
1.建立資源池配置集3d
2.修改各配置集資源分配及驗證blog
3.總結資源
1.CM和CDH版本爲5.15文檔
2.建立資源池配置集it
在CDH集羣中默認只有一個資源池的配置集,接下來Fayson經過CM建立多個資源池配置集,在本示例中Fayson共建立3個配置集class
1.登陸CM進入動態資源池管理界面集羣
2.點擊「計劃模式」進入配置界面登錄
3.點擊「建立計劃規則」,建立兩個新的配置集
建立新的配置集時須要從一個現有的配置集進行復制,能夠選擇配置集重複週期「天天、每週、每個月」,重複時間以小時爲單位進行選擇。
4.配置集建立完成列表以下
以上步驟只是完成了多個不通時間段使用的配置集。
3.修改各配置集資源分配
1.進入資源池配置主界面
2.將default的配置集root.default和root.users資源池佔比修改50%和50%
3.選擇pool_nigth資源池,將root.defaut和root.users資源池佔比修改成80%和20%
4.選擇pool_day資源池,將root.default和root.users資源池佔比修改成20%和80%
5.修改完成各個配置集資源池配置後,點擊「刷新動態資源池
如上步驟完成各個配置集資源池的配置。
4.驗證配置集是否生效
根據資源池配置集的配置規則,當前時間爲晚上10點,此時應該使用的資源池爲pool_nigth配置集。
1.登陸Yarn的8088界面查看資源池的佔比
2.點擊Scheduler查看資源池的佔比狀況
能夠看到root.default的資源池是root.users資源池佔比的4倍,與配置集的計劃規則一致。
5.總結
1.經過CM的動態資源池配置,能夠方便的建立多個配置集。
2.根據不一樣時段對資源池的使用進行從新分配,動態的調整不須要手動觸發。