Spark學習之路 （四）Spark的廣播變量和累加器

1、概述

在spark程序中，當一個傳遞給Spark操做(例如map和reduce)的函數在遠程節點上面運行時，Spark操做實際上操做的是這個函數所用變量的一個獨立副本。這些變量會被複制到每臺機器上，而且這些變量在遠程機器上的全部更新都不會傳遞迴驅動程序。一般跨任務的讀寫變量是低效的，可是，Spark仍是爲兩種常見的使用模式提供了兩種有限的共享變量：廣播變（broadcast variable）和累加器（accumulator）

2、廣播變量broadcast variable

2.1　爲何要將變量定義成廣播變量？

若是咱們要在分佈式計算裏面分發大對象，例如：字典，集合，黑白名單等，這個都會由Driver端進行分發，通常來說，若是這個變量不是廣播變量，那麼每一個task就會分發一份，這在task數目十分多的狀況下Driver的帶寬會成爲系統的瓶頸，並且會大量消耗task服務器上的資源，若是將這個變量聲明爲廣播變量，那麼知識每一個executor擁有一份，這個executor啓動的task會共享這個變量，節省了通訊的成本和服務器的資源。

2.2　廣播變量圖解

錯誤的，不使用廣播變量

正確的，使用廣播變量的狀況

2.3　如何定義一個廣播變量？

val a = 3
val broadcast = sc.broadcast(a)

2.4　如何還原一個廣播變量？

val c = broadcast.value

2.5　定義廣播變量須要的注意點？

變量一旦被定義爲一個廣播變量，那麼這個變量只能讀，不能修改

2.6　注意事項

一、能不能將一個RDD使用廣播變量廣播出去？

       不能，由於RDD是不存儲數據的。能夠將RDD的結果廣播出去。

二、 廣播變量只能在Driver端定義，不能在Executor端定義。

三、 在Driver端能夠修改廣播變量的值，在Executor端沒法修改廣播變量的值。

四、若是executor端用到了Driver的變量，若是不使用廣播變量在Executor有多少task就有多少Driver端的變量副本。

五、若是Executor端用到了Driver的變量，若是使用廣播變量在每一個Executor中只有一份Driver端的變量副本。

3、累加器 

3.1　爲何要將一個變量定義爲一個累加器？

在spark應用程序中，咱們常常會有這樣的需求，如異常監控，調試，記錄符合某特性的數據的數目，這種需求都須要用到計數器，若是一個變量不被聲明爲一個累加器，那麼它將在被改變時不會再driver端進行全局彙總，即在分佈式運行時每一個task運行的只是原始變量的一個副本，並不能改變原始變量的值，可是當這個變量被聲明爲累加器後，該變量就會有分佈式計數的功能。

3.2　圖解累加器

錯誤的圖解

正確的圖解

3.3　如何定義一個累加器？

val a = sc.accumulator(0)

 

3.4　如何還原一個累加器？

val b = a.value

 

3.5　注意事項

一、 累加器在Driver端定義賦初始值，累加器只能在Driver端讀取最後的值，在Excutor端更新。

二、累加器不是一個調優的操做，由於若是不這樣作，結果是錯的