經驗 - spark代碼執行過程（Driver , Execute）

我們自己編寫了spark代碼後;放到集羣中一執行，就會出現問題，沒有序列化、指定的配置文件不存在、classnotfound等等。這其實很多時候就是因爲我們對自己編寫的spark代碼執行流程的不熟悉導致的，源碼閱讀可以解決，但源碼不是每個人都能看懂或能看進去的，下面我們就來講一下，我們自己寫的spark代碼究竟是這麼執行的。從執行的過程可分爲三個部分來分析main方法，RDD處理方法，DStrea

>>阅读原文<<