spark-core源碼閱讀-累加器(十)

spark-core源碼閱讀-累加器(十) 使用場景 累加器是一種支持並行只能added的特殊變量,經常使用來計次/求和,咱們也能夠自行定義新數據類型支持addedjava 基本原理 累加器變量在每一個task任務中依次added,把結果傳到Driver端進行合併,因此這是分佈式計算,只有driver端才能讀取累加器最終值web 先看一個例子 object AccumulatorTest {

>>阅读原文<<