Spark共享變量(廣播變量、累加器)

Spark兩種共享變量：廣播變量（broadcast variable）與累加器（accumulator）java 累加器用來對信息進行聚合，而廣播變量用來高效分發較大的對象。apache 共享變量出現的緣由：閉包 一般在向 Spark 傳遞函數時，好比使用 map() 函數或者用 filter() 傳條件時，可使用驅動器程序中定義的變量，可是集羣中運行的每一個任務都會獲得這些變量的一份新的副本，

>>阅读原文<<