IDEA遠程提交運行HDFS的Spark程序--優化篇

之前說到，我可以直接讓spark程序去引用HDFS上的jar包路徑，解決因爲上傳依賴jar包導致的時間過長的問題。 上次還有一個遺留問題，我必須要在hadoop-yarn-common-2.6.4.jar包下的 yarn-default.xml中修改hostname的值纔可以正常提交，這顯然不符合正常使用的要求，我配置了那麼多信息，難道必須在各個jar包重新設置嗎？ 我重新觀察了以下正常spark

>>阅读原文<<