spark程序打包集羣運行方法及使用中的幾個問題解決

  最近在開始弄數據處理相關的事，文件很大時候使用pandas主機內存hold不住，實驗室其實也在用spark，之前做過一些hadoop的東西，現在想補一下spark的知識，點一個技能點吧，以後需要時候隨時可用。   首先idea配置及相關工作網上教程已經很多了，然後我現在主要是記錄一下spark程序在idea下如何打包在集羣運行，以及途中遇到的問題。做個記錄吧，以後自己也能用到。   打包過程如

>>阅读原文<<