Spark中的廣播變量與累加器

Spark兩種共享變量：廣播變量（broadcast variable）與累加器（accumulator），廣播變量經常使用來高效分發較大的對象，而累加器用來對信息進行聚合。html 共享變量出現的緣由：一般在向 Spark 傳遞函數時，好比使用map或reduce傳條件或變量時，在driver端定義變量，可是集羣中運行的每一個任務都會獲得這些變量的一份新的副本，更新這些副本的值driver端的對

>>阅读原文<<