SparkRDD - 基礎編程

SparkRDD - 基礎編程 RDD序列化 閉包檢測 從計算的角度,算子之外的代碼都是在Driver端執行,算子裏面的代碼都是在Executor端執行。那麼在scala的函數式編程中,就會致使算子內常常會用到算子外的數據,這樣就造成了閉合的效果。 若是使用的算子外的數據沒法序列化,就意味着沒法傳值給Executor端執行,就會發生錯誤。因此,須要在執行任務計算前,檢測閉包內的對象是否能夠進行序列
相關文章
相關標籤/搜索