YARN HA架構

image.png

Yarn HA面試

RM:app

a.啓動時會經過向ZK的/hadoop-ha目錄寫一個lock文件,寫成功則爲active,不然standybyide

standy 的RM會一直監控lock文件是否存在,若是不存在就會嘗試去建立,爭取爲active RMoop

b.會接收客戶端的任務請求,接收和監控nm的資源的彙報,負責資源的分配與調度,啓動和監控咱們的ApplicationMasterspa

NM:線程

節點上的資源的管理,啓動container容器,運行task的計算,上報資源,container狀況彙報給RM和任務的處理狀況彙報給做業的ApplicationMasterblog

ZKFC直接嵌入到RM中進程

RMStateStore直接存儲到ZK中內存

ApplicationMaster(AM):hadoop

單個application(job)的task的管理和調度,並向rm進行資源的申請,向nm發出 launch conta指令,接收NM的task的處理狀態信息。

面試題:ApplicationMaster 運行在哪裏

ApplicationMaster 運行在nm機器上的container。AM也是個任務,只不過在作它本身該完成的職責。

RMstatestore:

a.RM的做業信息存儲在ZK的/rmstore下,active RM向這個目錄寫 做業信息(即Application)

b當activerm掛了,另一個standby rm成功轉換爲active rm後,會從/rmstore目錄讀取相應的做業信息,從新構建做業的內存信息。

而後開始內部服務,開始接受NM的心跳,構建集羣資源的信息,並接收客戶端的提交做業的請求等。

ZKFC:

自動故障轉移,只做爲RM進行的一個線程,而非獨立的守護進程來啓動。

相關文章
相關標籤/搜索