RDD累加器和廣播變量

在默認情況下，當Spark在集羣的多個不同節點的多個任務上並行運行一個函數時，它會把函數中涉及到的每個變量，在每個任務上都生成一個副本。但是，有時候需要在多個任務之間共享變量，或者在任務(Task)和任務控制節點(Driver Program)之間共享變量。 爲了滿足這種需求，Spark提供了兩種類型的變量： 累加器accumulators:累加器支持在所有不同節點之間進行累加計算(比如計數或者求

>>阅读原文<<