SparkRDD - 基礎編程

SparkRDD - 基礎編程 RDD序列化 閉包檢測 從計算的角度，算子之外的代碼都是在Driver端執行，算子裏面的代碼都是在Executor端執行。那麼在scala的函數式編程中，就會致使算子內常常會用到算子外的數據，這樣就造成了閉合的效果。 若是使用的算子外的數據沒法序列化，就意味着沒法傳值給Executor端執行，就會發生錯誤。因此，須要在執行任務計算前，檢測閉包內的對象是否能夠進行序列

>>阅读原文<<