2六、Spark核心編程之共享變量（Broadcast Variable和Accumulator）

共享變量工做原理 Spark一個很是重要的特性就是共享變量。 默認狀況下，若是在一個算子的函數中使用到了某個外部的變量，那麼這個變量的值會被拷貝到每一個task中。此時每一個task只能操做本身的那份變量副本。若是多個task想要共享某個變量，那麼這種方式是作不到的。 Spark爲此提供了兩種共享變量，一種是Broadcast Variable（廣播變量），另外一種是Accumulator（累加變

>>阅读原文<<