spark 大型項目實戰(四十七):troubleshooting之解決各種序列化導致的報錯

你會看到什麼樣的序列化導致的報錯？ 用client模式去提交spark作業，觀察本地打印出來的log。如果出現了類似於Serializable、Serialize等等字眼，報錯的log，那麼恭喜大家，就碰到了序列化問題導致的報錯。 雖然是報錯，但是序列化報錯，應該是屬於比較簡單的了，很好處理。 序列化報錯要注意的三個點： 1、你的算子函數裏面，如果使用到了外部的自定義類型的變量，那麼此時，就要求你

>>阅读原文<<