9、共享變量(Broadcast Variable和Accumulator)

一、共享變量 1、共享變量工作原理 Spark一個非常重要的特性就是共享變量。 默認情況下,如果在一個算子的函數中使用到了某個外部的變量,那麼這個變量的值會被拷貝到每個task中。此時每個task只能操作自己的那份變量副本。如果多個task想 要共享某個變量,那麼這種方式是做不到的。 Spark爲此提供了兩種共享變量,一種是Broadcast Variable(廣播變量),另一種是Accumu
相關文章
相關標籤/搜索