SparkCore之RDD編程進階

1 累加器 累加器用來對信息進行聚合，一般在向 Spark傳遞函數時，好比使用 map() 函數或者用 filter() 傳條件時，可使用驅動器程序中定義的變量，可是集羣中運行的每一個任務都會獲得這些變量的一份新的副本，更新這些副本的值也不會影響驅動器中的對應變量。若是咱們想實現全部分片處理時更新共享變量的功能，那麼累加器能夠實現咱們想要的效果。java   1.1 系統累加器 針對一個輸入的日誌

>>阅读原文<<