Spark學習之路【SparkCore入門解析 ③累加器和廣播變量】

累加器 累加器是在Spark計算操作中變量值累加起來，可以被用來實現計數器、或者求和操作。Spark原生地只支持數字類型的累加器，編程者可以添加新類型的支持。如果創建累加器時指定了名字，可就以在SparkUI界面看到。這有利於理解每個執行階段的進程。綜合一句話來說，累加器在Driver端定義賦初始值，累加器只能在Driver端讀取，在 Excutor 端更新 我們大致看下圖大致瞭解一下累加器： 廣

>>阅读原文<<