Spark 共享變量底層實現

Spark一個非常重要的特性就是共享變量。 默認情況下，如果在一個算子的函數中使用到了某個外部的變量，那麼這個變量的值會被拷貝到每個task中，此時每個task只能操作自己的那份變量副本。如果多個task想要共享某個變量，那麼這種方式是做不到的。 Spark爲此提供了兩種共享變量，一種是Broadcast Variable（廣播變量），另一種是Accumulator（累加變量）。Broadcast

>>阅读原文<<