java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext,sparkcontext無法被序列化的問題

sparkcontext無法被序列化的問題,當我們在使用RDD調用map等算子,或者Dstream使用transform時,我們需要在它們的重寫的方法裏面,需要利用sparkcontext 比如把一個集合轉化爲RDD,但是一運行就報java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext(sparkco
相關文章
相關標籤/搜索