第12課:spark高可用(HA)框架

worker管理資源:內存,cpu 只有standby模式的master變成active模式時才能想集羣提交任務,master切換過程不會影響程序的運行 原因:程序在具體運行之前已經向集羣申請過資源,這些資源已經提交給driver了,也就是說已經分配好資源了,這是粗粒度分配,一次性分配資源後不需要再關心資源分配,在運行時讓executor和driver自動交互,弊端是如果資源分配太多,任務運行完不
相關文章
相關標籤/搜索