137、Spark核心編程進階之spark算子的閉包原理

Spark中一個非常難以理解的概念，就是在集羣中分佈式並行運行時操作的算子外部的變量的生命週期 首先看張圖 spark算子的閉包原理.png 通常來說，這個問題跟在RDD的算子中操作作用域外部的變量有關,所謂RDD算子中，操作作用域外部的變量，指的是，類似下面的語句: val a = 0; rdd.foreach(i -> a += i),此時，對rdd執行的foreach算子的作用域，其實僅僅是

>>阅读原文<<