spark任務遠程提交到yarn的兩種方式

       很多同學都遇到spark遠程提交到yarn的場景,但是大多數還是採用在spark安裝的節點去執行spark submit,在某些場景下並不適合,這種情況下我們其實有2種方式可以達到遠程提交的效果:         先不急着說兩種方法,首先我們先看一下spark在on yarn運行的時候需要一些什麼文件吧,知道的提交機制才能明白怎麼去完成遠程提交的這個過程,下圖爲hdfs上每個spar
相關文章
相關標籤/搜索