spark之共享數據(累加器)

累加器spa 顧名思義,累加器是一種只能經過關聯操做進行「加」操做的變量,所以它可以高效的應scala 用於並行操做中。它們可以用來實現counters和sums。Spark原生支持數值類型的累加blog 器,開發者能夠本身添加支持的類型,在2.0.0以前的版本中,經過繼繼承 承AccumulatorParam來實現,而2.0.0以後的版本須要繼承AccumulatorV2來實現自定義類開發 型的
相關文章
相關標籤/搜索