聊聊spark-submit的幾個有用選項

我們使用spark-submit時，必然要處理我們自己的配置文件、普通文件、jar包，今天我們不講他們是怎麼走的，我們講講他們都去了哪裏，這樣我們才能更好的定位問題。 我們在使用spark-submit把我們自己的代碼提交到yarn集羣運行時，spark會在yarn集羣上生成兩個進程角色，一個是driver，一個是executor，當這兩個角色進程需要我們傳遞一些資源和信息時，我們往往會使用spa

>>阅读原文<<