Scala Spark報錯 task not serializable的解決辦法

更新時間：2019-08-29 錯誤描述 今天在寫spark程序時，遇到task not serializable的報錯，提示task未進行序列化。 在正常spark程序在執行時會進行task序列化，當一些函數裏面有外部變量時，不會序列化外部變量，由此報錯。 上面報錯的主要緣由是在map函數的閉包內引入外部函數，外部變量沒有進行序列化，個人代碼結構以下：java def test(sc: Spar

>>阅读原文<<