Spark開發問題解決（一）：序列化報錯 java.io.notSerializableException: org.apache.spark.SparkContext

序列化問題產生背景 在寫Spark的應用時，經常會碰到序列化的問題。例如，在Driver端的程序中創建了一個對象，而在各個Executor中會用到這個對象 —— 由於Driver端代碼與Executor端的代碼運行在不同的JVM中，甚至在不同的節點上，因此必然要有相應的序列化機制來支撐數據實例在不同的JVM或者節點之間的傳輸。 一般來說這個問題的出現都是在map或者filter等算子中使用了外部的

>>阅读原文<<