關於spark通過idea提交任務到集羣的操作,本地機器和遠程的spark集羣的網絡不同的操作。...

今天在將本地idea當中的代碼提交到遠程的spark集羣的時候,出現了下面的錯誤 看到這個錯的第一反應就是集羣本地和spark的通訊是不是正常的,因爲我們通過本地提交任務的時候啓動了spark_ui界面這個相當於在本地進行操作的,相當於spark的client。但是真正的執行者又是在集羣當中。所以兩者之間的 話的通訊是必須保持暢通的。 (本地提交到spark集羣的代碼的運行方式大致是這樣的,其實他
相關文章
相關標籤/搜索